Mapreduce实现数据去重

最新推荐文章于 2022-12-19 10:00:00 发布

青岛City

最新推荐文章于 2022-12-19 10:00:00 发布

阅读量3.6k

点赞数 1

分类专栏：大数据文章标签：大数据 mapreduce hadoop

本文链接：https://blog.csdn.net/qq_43486230/article/details/109837759

版权

本文介绍了如何利用MapReduce进行数据去重。通过设置数据的key为数据本身，利用reduce阶段的特性，确保每个key只输出一次，从而达到去重目的。详细步骤包括设计思路、代码实现、数据准备、程序打包和运行。

摘要由CSDN通过智能技术生成

Mapreduce实现数据去重

一、数据去重

一、数据去重

要求：对多个数据文件进行去重。每行数据格式为“时间字母”

1.1 设计思路

根据reduce的过程特性，会自动根据key来计算输入value的集合，把数据作为key输出传给reduce，则无论出现多少次，reduce最终结果中key只能输出一个。(map输出：<key,value-list>,value-list的个数即次数>
每个数据代表一行内容，所以map阶段任务即为把value设置为key并直接输出。map中结果经过shuffle后交给reduce。reduce阶段不管每个key有多少value，而是直接将输入的key复制为输出的key，并输出。

1.2 代码实现

public calss Dedup{
   
      // Mapper的四个参数：第一个Object表示输入key的类型；第二个Text表示输入value的类型；第三个Text表示表示输出键的类型；第四个IntWritable表示输出值的类型。
	  public static class Map extends Mapper<Object, Text, Text, IntWritable> {
   
	  	private static Text line=