MapReduce数据分析（9）数据去重

最新推荐文章于 2022-12-19 10:00:00 发布

计算机程序猿

最新推荐文章于 2022-12-19 10:00:00 发布

阅读量2.9k

点赞数 1

分类专栏： # Hadoop 文章标签： java 大数据数据分析

本文链接：https://blog.csdn.net/weixin_44258756/article/details/103065299

版权

九、MapReduce第九讲数据去重（）

实现原理分析：

map函数数将输入的文本按照行读取，并将Key–每一行的内容输出 value–空。

reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空，这样就利用reduce自动合并相同的key的原理实现了数据去重。

数据介绍：链家网公司需要对数据进行，找了一些数据分析师需要对数据进行处理，其中有些有重复数据，我们需要自己进行去重的操作，然后才能把数据安心的给数据分析师进行分析。

数据样例：

2室1厅,53m²,共5层,207研究所宿舍,小店,学府街,体育西路体育南路351号,86,16120元/m²

代码如下:

package HouseQC;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class QC {
   
	public static void main(String[] args) throws Exception {
   
		
		Configuration conf=new Configuration();
		Job job = Job.getInstance(conf);
		job.setJarByClass(QC.class);
		job.setMapperClass(MMapper.class)