MapReduce之去重

最新推荐文章于 2022-12-19 10:00:00 发布

爱吃芝麻

最新推荐文章于 2022-12-19 10:00:00 发布

阅读量347

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_43006131/article/details/103092080

版权

本文介绍了如何使用MapReduce编程思想来实现数据去重。通过将数据聚合并将value值设置为null，以此达到去重的目的，类似WordCount但不考虑value。

摘要由CSDN通过智能技术生成

老规矩!数据是什么样的？

数据以\t 分割 UTF-8编码格式

1.编程思想

Mapreduce的具有聚合的特性，我们将数据聚合然后value值设为null即可非常简单，可以理解为wordcount 没有value值

2.代码：

package com.hnxy.mr.distinct;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Too