Hadoop经典案例Spark实现（五）——求最大最小值问题

最新推荐文章于 2022-11-16 14:14:06 发布

kwu_ganymede

最新推荐文章于 2022-11-16 14:14:06 发布

阅读量6.8k

点赞数 4

分类专栏： Spark Hadoop Hadoop经典案例Spark实现文章标签： spark hadoop 求最大最小值

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/50483207

版权

Hadoop经典案例Spark实现（五）——求最大最小值问题，同时在一个任务中求出来。

1、数据准备
eightteen_a.txt

eightteen_b.txt

结果预测

Max 10005
Min 2

2、MapRedue实现

Map代码

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxMinMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

	private Text keyText = new Text("Key");
	@Override
	protected void map(LongWritable key, Text value,Context context)
			throws IOException, InterruptedException {
		
		String line = value.toString();
		if(line.trim().length()>0){
			context.write(keyText, new LongWritab