MapReduce求最大值

最新推荐文章于 2024-03-21 17:14:01 发布

爱吃芝麻

最新推荐文章于 2024-03-21 17:14:01 发布

阅读量3.4k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_43006131/article/details/103092166

版权

该博客探讨了如何使用MapReduce计算数据集中的最大值。作者提出了三种方法：1) 在map阶段找到局部最大值并通过cleanup方法输出；2) 将药品名和价格链接成一个值，用统一的key传输；3) 使用combiner进行局部聚合。尽管第三种方法可能导致效率降低，但前两种方法展示了MapReduce在处理最大值问题上的灵活性。

摘要由CSDN通过智能技术生成

思想：

在map端找出map端的最大值（局部）。map的cleanup方法输出这个最大值，再通过reduce端将map端的局部最大进行比较。求出最终最大的那个值。

怎么样找出map端的最大值？老样子，先看数据！

销售时间	        社保卡号	        商品编码	商品名称	    销售数量	应收金额	 实收金额 
2018-01-01	001616528	236701	强力VC银翘片	6.0	82.8	69.0
2018-01-01	0012697828	861464	复方利血平片(复方降压片)	4.0	10.0	9.4
2018-01-01	0010060654328	861458	复方利血平氨苯蝶啶片(北京降压0号)	1.0	10.3	9.2
2018-01-01	0011811728	861456	酒石酸美托洛尔片(倍他乐克)	1.0	7.0	6.3
2018-01-01	0013448228	861507	苯磺酸氨氯地平片(安内真)	1.0	9.5	8.5

数据准备了两个文件 file1 和file2 这样容易体现最后reduce的作用

需求是计算这个数据片段中的最大值,并输出药品名称和实收金额;

也就是要输出商品的名称和实收金额，并且找出金额最大值的商品

package com.hnxy.mr.max;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import com.hnxy.mr.max.MaxWrod.MaxMapper;
import com.hnxy.mr.max.MaxWrod.MaxReducer;

public class MaxWrod3 extends Configured implements Tool {
	public static class MaxMapper extends Mapper<LongWritable, Text, Text, DoubleWritable> {
		private Text outkey = new Text();
		private DoubleWritable outval = new DoubleWritable();
		private Double maxval = 0D;
		private String maxkey = "";
		String[] star = null;

		@Override
		protected void m