mapreduce 去重的问题怎么解决

最新推荐文章于 2022-12-19 10:00:00 发布
最新推荐文章于 2022-12-19 10:00:00 发布
阅读量298 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 java 游戏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_19679/article/details/82583417
版权
http://bbs.csdn.net/topics/390811736?page=1#post-397617777
 
返回列表

mapreduce 去重的问题怎么解决？ [问题点数：40分]

快速回复 只显示楼主 关注帖子

mapreduce 去重的问题怎么解决？ [问题点数：40分]

            不显示删除回复             显示所有回复             显示星级回复             显示得分回复             只显示楼主            收藏
楼主 发表于： 2014-06-14 19:05:47
mapreduce
 john 89
 tom 100
 mary 100
 mary 200
 tom 20
———–
我刚学mapreduce，正在练习，上面这个我计算了很久也不对，就是对第一列去重，去重后应该是3
如果用mapreduce计算成功后，part-00000 的文件内容 是：
3
请问下，这个mapreduce怎么写啊？
<iframe id="tad2" style="box-sizing: content-box; height: 130px;" src="http://bbs.csdn.net/sda/TopicBodyBottom.htm" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" width="100%"></iframe>
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
回复次数：13
6
#1 得分：0 回复于： 2014-06-15 10:03:12
map按第一列为key，value无所谓
reduce class中初始化一个计数器
每个reduce方法中计数器每次加一
reduce 的cleanup方法中commit计数器就可以了
如果您对CSDN论坛有意见和建议 请直接在本帖指教
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#2 得分：0 回复于： 2014-06-15 21:40:54
map 知道怎么写了，那reduce的具体怎么写啊？
CSDN投诉事项说明
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#3 得分：0 回复于： 2014-06-18 10:37:48
直接一个Map,在Map里面定义一个全局的HashSet,map方法里面把key加入进去，cleanup方法里面把结果写入就行了。
 
对我有用[0]  丢个板砖[1]  引用 |  举报 |  管理
#4 得分：0 回复于： 2014-06-18 15:18:45
学习
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
6
#5 得分：0 回复于： 2014-06-18 17:35:41
引用 3 楼 wulinshishen 的回复:
直接一个Map,在Map里面定义一个全局的HashSet,map方法里面把key加入进去，cleanup方法里面把结果写入就行了。

只用map不可能解决这个问题
如果在不同的map中都用同一个key，怎么解决？

必须用reduce去group后的key才能得到去重效果
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#6 得分：0 回复于： 2014-06-19 09:43:31
引用 5 楼 tntzbzc 的回复:
Quote: 引用 3 楼 wulinshishen 的回复:
 直接一个Map,在Map里面定义一个全局的HashSet,map方法里面把key加入进去，cleanup方法里面把结果写入就行了。

只用map不可能解决这个问题
如果在不同的map中都用同一个key，怎么解决？

必须用reduce去group后的key才能得到去重效果

嗯，对，没想那么仔细，谢谢指正。
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#7 得分：0 回复于： 2014-06-20 15:16:20
引用 4 楼 tjytad1982 的回复:
学习

   public static class Map extends Mapper<LongWritable, Text, Text, Text> {
                public void map(LongWritable key, Text value, Context context)
                                throws IOException, InterruptedException {
                        String line = value.toString();
                        try {
                                String[] lineSplit = line.split("\t");
                                context.write(new Text(lineSplit[0]), new Text(""));
                            } catch (java.lang.ArrayIndexOutOfBoundsException e) {
                                context.getCounter(Counter.LINESKIP).increment(1);
                                return;
                        }
                }
        }

        public static class Reduce extends Reducer<Text, Text, Text, Text> {
                private Set<String> count = new HashSet<String>();

                public void reduce(Text key, Iterable<Text> values, Context context)
                                throws IOException, InterruptedException {
                      for(Text value:values){
                             count.add(value.toString());
                     }
                        context.write(key, new Text(""));
                }
        }
-------------------------  这个问题纠结我2周了，这个方面的学习资料太少了，我的map和reduce是这样写的，但是数据量大一些，就会内存溢出，我想我这个思路是错误的
        你说的  “必须用reduce去group后的key才能得到去重效果 ”，这个 map和reduce是具体怎么写的啊？
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#8 得分：0 回复于： 2014-06-20 15:22:52
引用 7 楼 wzl189 的回复:
Quote: 引用 4 楼 tjytad1982 的回复:
 学习

   public static class Map extends Mapper<LongWritable, Text, Text, Text> {
                public void map(LongWritable key, Text value, Context context)
                                throws IOException, InterruptedException {
                        String line = value.toString();
                        try {
                                String[] lineSplit = line.split("\t");
                                context.write(new Text(lineSplit[0]), new Text(""));
                             context.write(new Text("uniq") ,new Text(lineSplit[0]) );

                            } catch (java.lang.ArrayIndexOutOfBoundsException e) {
                                context.getCounter(Counter.LINESKIP).increment(1);
                                return;
                        }
                }
        }

        public static class Reduce extends Reducer<Text, Text, Text, Text> {
                private Set<String> count = new HashSet<String>();

                public void reduce(Text key, Iterable<Text> values, Context context)
                                throws IOException, InterruptedException {
                      for(Text value:values){
                             count.add(value.toString());
                     }
                        context.write("uniq", new Text(count.size()+""));
                }
        }
-------------------------  这个问题纠结我2周了，这个方面的学习资料太少了，我的map和reduce是这样写的，但是数据量大一些，就会内存溢出，我想我这个思路是错误的
        你说的  “必须用reduce去group后的key才能得到去重效果 ”，这个 map和reduce是具体怎么写的啊？
   -------------刚才写的mapreduce错了，以这个为准
   
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
#9 得分：0 回复于： 2014-06-20 15:33:13
引用 1 楼 tntzbzc 的回复:
map按第一列为key，value无所谓
reduce class中初始化一个计数器
每个reduce方法中计数器每次加一
reduce 的cleanup方法中commit计数器就可以了

  谢谢了，请教下，你说的这个map我知道怎么写了，但是这个reduce怎么写啊？ 
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
6
#10 得分：0 回复于： 2014-06-20 17:30:04
我晚点写个完整例子给你
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
6
#11 得分：0 回复于： 2014-06-20 20:47:41
Java code ?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import  java.io.IOException;
 
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.Path;
import  org.apache.hadoop.io.LongWritable;
import  org.apache.hadoop.io.NullWritable;
import  org.apache.hadoop.io.Text;
import  org.apache.hadoop.mapreduce.Job;
import  org.apache.hadoop.mapreduce.Mapper;
import  org.apache.hadoop.mapreduce.Reducer;
import  org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import  org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import  org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
public  class  wzl189_distinct {
     public  static  class  MyMapper  extends
             Mapper<Object, Text, Text, NullWritable> {
 
         Text outKey =  new  Text();
 
         @Override
         public  void  map(Object key, Text value, Context context)
                 throws  IOException, InterruptedException {
 
             String tmp[] = value.toString().split( " " );
             if  (tmp.length !=  2 )
                 return ;
             outKey.set(tmp[ 0 ]);
             context.write(outKey, NullWritable.get());
 
         }
     }
 
     public  static  class  MyReducer  extends
             Reducer<Text, NullWritable, LongWritable, NullWritable> {
 
         long  myCount = 0l;
 
         @Override
         public  void  reduce(Text key, Iterable<NullWritable> values,
                 Context context)  throws  IOException, InterruptedException {
             ++myCount;
         }
 
         @Override
         public  void  cleanup(Context context)  throws  IOException,
                 InterruptedException {
             context.write( new  LongWritable(myCount), NullWritable.get());
         };
     }
 
     public  static  void  main(String[] args)  throws  Exception {
         Configuration conf =  new  Configuration();
         if  (args.length !=  2 ) {
             System.err.println( "Usage: <in> <out>" );
             System.exit( 2 );
         }
 
         conf.set( "mapred.child.java.opts" ,  "-Xmx350m -Xmx1024m" );
 
         @SuppressWarnings ( "deprecation" )
         Job job =  new  Job(conf,  "wzl189_distinct" );
         job.setNumReduceTasks( 1 );
         job.setInputFormatClass(TextInputFormat. class );
         job.setJarByClass(wzl189_distinct. class );
         job.setMapperClass(MyMapper. class );
 
         job.setMapOutputKeyClass(Text. class );
         job.setMapOutputValueClass(NullWritable. class );
 
         job.setReducerClass(MyReducer. class );
         job.setOutputKeyClass(Text. class );
         job.setOutputValueClass(NullWritable. class );
 
         FileInputFormat.addInputPath(job,  new  Path(args[ 0 ]));
         FileOutputFormat.setOutputPath(job,  new  Path(args[ 1 ]));
         System.exit(job.waitForCompletion( true ) ?  0  :  1 );
     }
}


reduce阶段只用一个计数器就行了
 
对我有用[1]  丢个板砖[0]  引用 |  举报 |  管理
#12 得分：0 回复于： 2014-06-20 22:45:45
引用 11 楼 tntzbzc 的回复:
Java code ?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import  java.io.IOException;
 
import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.fs.Path;
import  org.apache.hadoop.io.LongWritable;
import  org.apache.hadoop.io.NullWritable;
import  org.apache.hadoop.io.Text;
import  org.apache.hadoop.mapreduce.Job;
import  org.apache.hadoop.mapreduce.Mapper;
import  org.apache.hadoop.mapreduce.Reducer;
import  org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import  org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import  org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
public  class  wzl189_distinct {
     public  static  class  MyMapper  extends
             Mapper<Object, Text, Text, NullWritable> {
 
         Text outKey =  new  Text();
 
         @Override
         public  void  map(Object key, Text value, Context context)
                 throws  IOException, InterruptedException {
 
             String tmp[] = value.toString().split( " " );
             if  (tmp.length !=  2 )
                 return ;
             outKey.set(tmp[ 0 ]);
             context.write(outKey, NullWritable.get());
 
         }
     }
 
     public  static  class  MyReducer  extends
             Reducer<Text, NullWritable, LongWritable, NullWritable> {
 
         long  myCount = 0l;
 
         @Override
         public  void  reduce(Text key, Iterable<NullWritable> values,
                 Context context)  throws  IOException, InterruptedException {
             ++myCount;
         }
 
         @Override
         public  void  cleanup(Context context)  throws  IOException,
                 InterruptedException {
             context.write( new  LongWritable(myCount), NullWritable.get());
         };
     }
 
     public  static  void  main(String[] args)  throws  Exception {
         Configuration conf =  new  Configuration();
         if  (args.length !=  2 ) {
             System.err.println( "Usage: <in> <out>" );
             System.exit( 2 );
         }
 
         conf.set( "mapred.child.java.opts" ,  "-Xmx350m -Xmx1024m" );
 
         @SuppressWarnings ( "deprecation" )
         Job job =  new  Job(conf,  "wzl189_distinct" );
         job.setNumReduceTasks( 1 );
         job.setInputFormatClass(TextInputFormat. class );
         job.setJarByClass(wzl189_distinct. class );
         job.setMapperClass(MyMapper. class );
 
         job.setMapOutputKeyClass(Text. class );
         job.setMapOutputValueClass(NullWritable. class );
 
         job.setReducerClass(MyReducer. class );
         job.setOutputKeyClass(Text. class );
         job.setOutputValueClass(NullWritable. class );
 
         FileInputFormat.addInputPath(job,  new  Path(args[ 0 ]));
         FileOutputFormat.setOutputPath(job,  new  Path(args[ 1 ]));
         System.exit(job.waitForCompletion( true ) ?  0  :  1 );
     }
}


reduce阶段只用一个计数器就行了

太感谢了，你了解这么多啊，我都搞了2周，没有结果，想再请教最后一个问题：
假如 第一列是姓名，第二列是班级（先不管我这个需求是否合理）
 john 100
 john 100
 mary 100
 mary 200
 tom  200

想统计处如下结果，就是按班级人数去重
100 2
200 2

这个mapreduce怎么写啊？  望高手最后再解答下，万分感谢了。
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
6
#13 得分：0 回复于： 2014-06-21 11:41:41
map 输出key 用 班级 + 分隔符 + 姓名
重写 grouping 实现二次排序，如果reduce num > 1 还需要重写 partition
reduce略作修改，增个姓名变量 ，比较当前姓名是否和前一个姓名是否一致，如果不一致 计数器+=1

代码就不贴了，LZ多思考一下，这种简单的MR不难解决
 
对我有用[0]  丢个板砖[0]  引用 |  举报 |  管理
返回列表
 

CSDN

CSDN社区问答精华QA

 
回复内容 
 
每天回帖即可获得10分可用分！小技巧：教您如何更快获得可用分 你还可以输入10000个字符(Ctrl+Enter)
  1. 请遵守CSDN用户行为准则，不得违反国家法律法规。
  2. 转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。
核心技术类目
全部主题  Java  VPN  Android  iOS  ERP  IE10  Eclipse  CRM  JavaScript  Ubuntu  NFC  WAP  jQuery  数据库  BI HTML5  Spring  Apache  Hadoop  .NET  API  HTML  SDK  IIS  Fedora  XML  LBS  Unity  Splashtop  UML  components Windows Mobile  Rails  QEMU  KDE  Cassandra  CloudStack  FTC  coremail  OPhone  CouchBase  云计算  iOS6  Rackspace
回到首页回到频道
公司简介| 招贤纳士| 广告服务| 银行汇款帐号| 联系方式| 版权声明| 法律顾问| 问题报告| 合作伙伴| 论坛反馈
网站客服  杂志客服  微博客服    400-600-2320
京 ICP 证 070598 号
北京创新乐知信息技术有限公司 版权所有
江苏乐知网络技术有限公司 提供商务支持
Copyright © 1999-2014, CSDN.NET, All Rights Reserved  GongshangLogo
iteye_19679
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce操作实例-数据去重.pdf
07-11
MapReduce操作实例-数据去重.pdf 学习资料 复习资料 教学资源
大数据培训MapReduce常见错误及解决方案
zjjcchina的博客
11-14 657
3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4)，说明Partition和ReduceTask个数没对上，调整ReduceTask个数。因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1。2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。7）报类型转换异常。
MapReduce案列-数据去重
Pythonwudud的博客
12-19 3099
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。
MapReduce经典案例—数据去重
一指流沙的博客
06-03 6746
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。 (1) 编写MapReduce程序，在Map阶段采用Hadoop默认作业输入方式后，将key设置为需要去重的数据，而输出的value可以任意设置为空。 (2)
MapReduce编程开发之数据去重
feinifi的博客
09-02 1576
MapReduce就是一个利用分而治之的思想做计算的框架，所谓分，就是将数据打散，分成可以计算的小份，治就是将数据合并，相同键的数据合并成一个集合。MapReduce并不能解决所有的问题，因为他的数据类型是键值对，只能解决特定范围的问题。 数据去重算法，其实就是词频统计的一个变种，词频统计是统计文本中的单词出现的次数，如果一个单词出现两次，就算重复，去掉重复的办法就是保留一个副本...
Mapreduce实现Wordcount
qq_43486230的博客
11-19 588
Mapreduce实现Wordcount一、程序实现1.1 mapper类：1.2 reducer类：1.3 main类：二、操作实例2.1 打包2.2 数据操作 一、程序实现 1.1 mapper类： // Mapper的四个参数：第一个Object表示输入key的类型；第二个Text表示输入value的类型；第三个Text表示表示输出键的类型；第四个IntWritable表示输出值的类型。 public static class doMapper extends Mapper<Obj
mapreduce实现文档数据去重
02-11
mapreduce实现文档数据去重
用MapReduce解决与云计算相关的BigData问题
01-31
微观经济学指出，比起让大多数成员来执行要在该系统中存在所必需的活动，基于专业分工的系统生产力更高。换句话说，对于每个任务，全能的人的生产力比不上专门从事特定任务的人。这称为比较优势 ...
MapReduce完成输入目录下图片的去重
02-16
核心框架是MapReduce，使用Java语言编写，在执行时传递args[0]和args[1]即可。可以根据图片转换的Base64编码的不同达到去除相同内容不同文件名图片的目的。 在识别指定目录（args[0]）下的图片后将去重后的图片结果...
Mapreduce-实践
04-16
（实践一）数值概要中combiner的作用 在前述数值概要的运用中，加入不同的combiner，测试不同环境下系统的性能，并给出分析、...（实践五）去重的用户—针对ctrip数据集去重 对ctrip数据集中的product-id进行去重操作
007_hadoop中MapReduce应用案例_1_数据去重
08-06
NULL 博文链接：https://zc985552943.iteye.com/blog/2088221
Hadoop-MapReduce实践示例
06-20
初学大数据hadoop，自己写实践练手的示例，示例非常全，带目录，非常清晰。
MapReduce之去重
zhangdy12307的博客
04-20 1070
MapReduce之去重 模式描述 这个模式过滤整个数据集，过滤应用的最终输出结果是一个唯一记录的集合 目的 在拥有一系列相思的数据集记录中，找到唯一的集合 适用场景 对于数据集中存在重复值进行去重操作，如果数据中没有重复值的话，则不需要这个模式 使用场景为 数据去重 抽取重复值 规避内连接的数据膨胀 问题描述 给定一个用户评论的列表，得到去重的用户ID集 样例输入 样例文本生成代码如下 im...
Hadoop MapReduce开发--升序排序数据，且数据不去重
冯大叔的博客
01-11 592
测试数据： file1.txt 2 32 654 32 15 756 65223 file2.txt 5956 22 650 92 file3.txt 26 54 6 Mapper代码： import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import o...
MapReduce 之 数据去重
CV前沿
05-11 7247
最近要更新一些MapReduce实例应用的系列文章。文章结构上包括以下几个部分：1.、问题背景；2、基于MapReduce的解决思路；3、代码实现；4、运行结果。1. 问题背景随着数据信息量的急速增长，越来越多的人开始关注存储数据的数据去重技术。数据去重是指对所有的数据进行一个有意义的筛选，去除掉冗余的数据。例如统计大数据集上的数据种类个数、从网站日志中计算访问地等都会涉及到数据去重。下面通过一个例
Mapreduce实例（三）：数据去重
笑看风云路的博客
05-31 2585
MR实现数据去重
MapReduce数据分析（9）数据去重
learp
11-14 2828
九、MapReduce第九讲数据去重（） 实现原理分析： map函数数将输入的文本按照行读取， 并将Key–每一行的内容 输出 value–空。 reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空，这样就利用reduce自动合并相同的key的原理实现了数据去重。 数据介绍：链家网公司需要对数据进行，找了一些数据分析...
MapReduce实现数据去重
weixin_33872660的博客
12-02 974
一、原理分析 　　Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样无须做任何处理，写入输出文件的东西就是，最初得到的K...
mapreduce去掉重复行
wonderful_life_mrchi的博客
08-26 3373
思想 mapreduce可以分为map和reduce两个过程，我们知道最终结果是reduce输出的k,v中的k一定不是重复的，是排序合并之后的。我们就利用这一点在mapper阶段，不需要做任何事情，只要将输入value（一行内容）作为key输出到reduce即可。由于这里不做wordcount，所以可以写：context.write(value,NullWritable.get())。NullW
MapReduce去重
最新发布
03-21
MapReduce去重可以通过MapReduce框架中的Map和Reduce操作来实现。具体实现步骤如下： 1. Map阶段：将输入数据按照一定的规则进行切分，然后将每个切分后的数据进行处理，生成一个键值对，其中键为需要去重的字段，值为该字段对应的数据。 2. Reduce阶段：将Map阶段生成的键值对按照键进行分组，然后对每组数据进行去重操作，最终输出去重后的结果。 需要注意的是，在Map阶段需要对数据进行预处理，将需要去重的字段提取出来作为键，这样才能保证Reduce阶段能够正确地进行去重操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值