Hadoop经典案例Spark实现（五）——求最大最小值问题

最新推荐文章于 2023-01-02 11:57:33 发布

原创

最新推荐文章于 2023-01-02 11:57:33 发布 · 7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop #求最大最小值

本文介绍了如何使用MapReduce和Spark解决求最大最小值的问题。通过Map阶段处理数据，然后在Reduce或Spark的groupByKey阶段进行聚合计算，成功实现了在大数据场景下查找最大值和最小值的目标。

Hadoop经典案例Spark实现（五）——求最大最小值问题，同时在一个任务中求出来。

1、数据准备
eightteen_a.txt

eightteen_b.txt

结果预测

Max 10005
Min 2

2、MapRedue实现

Map代码

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxMinMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

	private Text keyText = new Text("Key");
	@Override
	protected void map(LongWritable key, Text value,Context context)
			throws IOException, InterruptedException {
		
		String line = value.toString();
		if(line.trim().length()>0){
			context.write(keyText, new LongWritable(Long.parseLong(line.trim())));
		}
	}
}