Mapreduce实现数据去重

最新推荐文章于 2022-12-19 10:00:00 发布
最新推荐文章于 2022-12-19 10:00:00 发布
阅读量3.5k 收藏 12
点赞数 1
分类专栏： 大数据 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43486230/article/details/109837759
版权
本文介绍了如何利用MapReduce进行数据去重。通过设置数据的key为数据本身，利用reduce阶段的特性，确保每个key只输出一次，从而达到去重目的。详细步骤包括设计思路、代码实现、数据准备、程序打包和运行。
摘要由CSDN通过智能技术生成

Mapreduce实现数据去重

一、数据去重

要求：对多个数据文件进行去重。每行数据格式为“时间 字母”

1.1 设计思路

根据reduce的过程特性，会自动根据key来计算输入value的集合，把数据作为key输出传给reduce，则无论出现多少次，reduce最终结果中key只能输出一个。(map输出：<key,value-list>,value-list的个数即次数>
每个数据代表一行内容，所以map阶段任务即为把value设置为key并直接输出。map中结果经过shuffle后交给reduce。reduce阶段不管每个key有多少value，而是直接将输入的key复制为输出的key，并输出。

1.2 代码实现

public calss Dedup{
   
      // Mapper的四个参数：第一个Object表示输入key的类型；第二个Text表示输入value的类型；第三个Text表示表示输出键的类型；第四个IntWritable表示输出值的类型。
	  public static class Map extends Mapper<Object, Text, Text, IntWritable> {
   
	  	private static Text line=
最低0.47元/天 解锁文章
青岛City
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mapreduce实现Wordcount
qq_43486230的博客
11-19 623
Mapreduce实现Wordcount一、程序实现1.1 mapper类：1.2 reducer类：1.3 main类：二、操作实例2.1 打包2.2 数据操作 一、程序实现 1.1 mapper类： // Mapper的四个参数：第一个Object表示输入key的类型；第二个Text表示输入value的类型；第三个Text表示表示输出键的类型；第四个IntWritable表示输出值的类型。 public static class doMapper extends Mapper<Obj
MapReduce实现数据去重
weixin_33872660的博客
12-02 1008
一、原理分析 　　Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样无须做任何处理，写入输出文件的东西就是，最初得到的K...
Mapreduce实例（三）：数据去重
笑看风云路的博客
05-31 2682
MR实现数据去重
MapReduce数据分析（9）数据去重
learp
11-14 2929
九、MapReduce第九讲数据去重（） 实现原理分析： map函数数将输入的文本按照行读取， 并将Key–每一行的内容 输出 value–空。 reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空，这样就利用reduce自动合并相同的key的原理实现了数据去重。 数据介绍：链家网公司需要对数据进行，找了一些数据分析...
MapReduce经典案例—数据去重
一指流沙的博客
06-03 7558
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。 (1) 编写MapReduce程序，在Map阶段采用Hadoop默认作业输入方式后，将key设置为需要去重的数据，而输出的value可以任意设置为空。 (2)
mapreduce实现文档数据去重
02-11
MapReduce实现文档数据去重 MapReduce是一种编程模型和相关实现，用于大规模数据处理，广泛应用于大数据处理领域。本文将介绍如何使用MapReduce实现文档数据去重，通过环境配置、编程、测试等步骤，实现文档数据...
MapReduce操作实例-数据去重.pdf
07-11
在这个实例中，我们看到的是一个基于MapReduce的数据去重操作，这个操作在大数据处理中非常常见，尤其是当处理的数据源包含重复记录时。下面将详细解释每个部分的作用。 1. **Mapper类**： 在`DedupMapper`类中，...
MyMapReduce:mapreduce的实现
07-09
Map Reduce在Java中的实现 一、简介 作为该项目的一部分，我实施了一个程序，该程序遵循 Google 科学论文的 Map Reduce 架构。 这个程序是用 Java 编写的，对给定的文档执行“字数统计”，并返回一个包含每个单词...
007_hadoop中MapReduce应用案例_1_数据去重
08-06
首先，我们来看`Uniq.java`，这应该是实现数据去重功能的Java代码。在MapReduce中，程序员通常需要编写两个主要函数：`map()`和`reduce()`。`map()`函数负责将输入数据分割并转化为键值对，而`reduce()`函数则对这些...
大数据MapReduce实现IP定位
最新发布
05-17
总之，利用MapReduce实现IP定位是一个典型的大数据处理任务，它展示了分布式计算在处理大规模数据时的能力。通过理解并掌握MapReduce的工作原理以及如何将其应用于IP定位，我们可以更好地应对其他大数据应用场景，...
mapreduce项目 数据清洗
10-10
mapreduce基本数据读取，通俗易懂。 此项目情景为，遗传关系族谱。 （爷爷 、父母 、孩子） 经典案例
MapReduce案列-数据去重
Pythonwudud的博客
12-19 3422
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。
mapreduce去重
qq_41458071的博客
04-26 249
public class Distinct { static { System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop-2.8.3"); } public static void main(String[] args) throws IOException, ClassNotFoundExcep...
MapReduce去重
lavimer
01-28 4949
一：背景 很多数据源中的数据都是含有大量重复的，为此我们需要将重复的数据去掉，这也称为数据的清洗，MapReduce从Map端到Reduce端的Shuffle过程天生就有去重的功能，但是这是对输出的Key作为参照进行去重的。所以我们可以将Map端读入Value作为Key输出，就可以很方便的实现去重了。 二：技术实现 #需求 有两个文件file0和file1。将两个文件中的内容合并去重
mapreduce 数据去重
あずにゃん梓喵的博客
04-30 426
代码下载链接： https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码：2v0l 1.经过了maptask：把一行数据作为key，value为空 2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并：key=一行数据。value=为空的迭代器 ...
MapReduce编程开发之数据去重
feinifi的博客
09-02 1662
MapReduce就是一个利用分而治之的思想做计算的框架，所谓分，就是将数据打散，分成可以计算的小份，治就是将数据合并，相同键的数据合并成一个集合。MapReduce并不能解决所有的问题，因为他的数据类型是键值对，只能解决特定范围的问题。 数据去重算法，其实就是词频统计的一个变种，词频统计是统计文本中的单词出现的次数，如果一个单词出现两次，就算重复，去掉重复的办法就是保留一个副本...
MapReduce的数据去重功能
weixin_45683301的博客
06-28 1565
实验材料及说明 现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，文件名为buyer_favorite。buyer_favorite包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 买家ID 商品ID 收藏日期 10181 1000481 2010-04-04 16:54:31 20001 1001597 2010-04-07 15:07:52 20001 1001560 2010-04-07 15:08:27 2
【MapReduce实例】数据去重
王小康walker的博客
12-05 1411
一、实例描述数据去重是利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问等这些看似庞大的任务都会涉及数据去重。比如，输入文件 file1.txt，其内容如下： 2017-12-9 a 2017-12-10 b 2017-12-11 c 2017-12-12 d 2017-12-13 a 2017-12-14 b 2017-12-15 c 20
hadoop mapreduce数据去重
提炼技能，形成智慧
05-07 1847
假设我们有下面两个文件，需要把重复的数据去除。 file0 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c file1 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-5 a 2012-3-6 c
mapreduce实现数据去重
10-27
MapReduce是一种分布式计算框架，可以用于大规模数据处理。在MapReduce中实现数据去重可以通过自定义Mapper和Reducer类来实现。具体步骤如下： 1. 自定义Mapper类，将输入数据作为键值对传递给Reducer类，其中键为输入数据，值为NullWritable。 2. 自定义Reducer类，接收Mapper类传递过来的数据，根据Shuffle工作原理，键值相同的数据会被合并，因此输出数据就不会出现重复数据了。 3. 在MapReduce作业中指定自定义的Mapper和Reducer类，并设置输入和输出路径。 下面是一个简单的MapReduce实现数据去重的例子： 1. 自定义Mapper类： ``` public class DeduplicateMapper extends Mapper<LongWritable, Text, Text, NullWritable> { private static Text field = new Text(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { field = value; context.write(field, NullWritable.get()); } } ``` 2. 自定义Reducer类： ``` public class DeduplicateReducer extends Reducer<Text, NullWritable, Text, NullWritable> { @Override protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException { context.write(key, NullWritable.get()); } } ``` 3. 在MapReduce作业中指定自定义的Mapper和Reducer类，并设置输入和输出路径： ``` Job job = Job.getInstance(conf, "deduplicate"); job.setJarByClass(Deduplicate.class); job.setMapperClass(DeduplicateMapper.class); job.setReducerClass(DeduplicateReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(NullWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值