关于MapReduce框架中Key-Value对象的重用

原创 2016年08月30日 21:58:18
  • 问题说明

在写MapReduce的reduce程序时,有时会用到Java中Treemap容器对准备输出的

treeMap.put(new LongWritable(count), key);//有意调换K,V以便排序

但是输出时却发现key的值都是一个,而且都是最后一个put进入treeMap中的值!这是为什么?
请教了公司大牛wanglei2才知道其中的原因,在此感谢王老师并表达膜拜之情!
原因是Key-Value对象的重用导致的:Key是一个引用,它在栈中,指向堆中一个对象,同样Value也是如此。虽然reduce方法会反复执行多次,但key和value相关的对象只有两个,key和value的引用也是只有两个,reduce会反复重用这两个对象。所以上面代码段put进去的key指向的对象只有一个,对象的值为最后一个put进去的值,所以输出的key的值都为最后一个,而new LongWritable(count)是创建了一个新的对象。所以是不同的。所以如果要保存key或者value的结果,只能将其中的值取出另存或者重新clone一个对象(例如Text text= new Text(value) 或者 String a = value.toString()),而不能直接赋引用。因为引用从始至终都是指向同一个对象,你如果直接保存它们,那最后它们都指向最后一个输入记录。会影响最终计算结果而出错。

  • 程序验证:
package cn.bjut.vlsi.TreeMap;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.Map.Entry;
import java.util.Set;
import java.util.TreeMap;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;

public class TreeMapTest {

    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO 自动生成的方法存根
        TreeMap<LongWritable,Text> treemap = new TreeMap<LongWritable, Text>();
        String[] cityName = {"北京","南京","秦皇岛","济南","天津","上海","苏州"};
        int i = 0;
        Text key = new Text();
        for(String str : cityName){
            key.set(str);
            i++;
            treemap.put(new LongWritable(i), key);
        }       
        System.out.println("******************TreeMap Output******************");   
        Set<Entry<LongWritable,Text>> entrySet = treemap.entrySet();
        for(Entry<LongWritable,Text> ent : entrySet){
            System.out.println(ent.getValue() + " " + ent.getKey());        
        }
    }
}
程序输出:

苏州 1
苏州 2
苏州 3
苏州 4
苏州 5
苏州 6
苏州 7

创建put中key的对象,程序改为:

package cn.bjut.vlsi.TreeMap;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.Map.Entry;
import java.util.Set;
import java.util.TreeMap;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;

public class TreeMapTest {

    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO 自动生成的方法存根
        TreeMap<LongWritable,String > treemap = new TreeMap<LongWritable, String >();//*****修改****//
        String[] cityName = {"北京","南京","秦皇岛","济南","天津","上海","苏州"};
        int i = 0;
        Text key = new Text();
        for(String str : cityName){
            key.set(str);
            i++;
            treemap.put(new LongWritable(i), key.toString());//*****修改****//
        }       
        System.out.println("******************TreeMap Output******************");   
        Set<Entry<LongWritable,String >> entrySet = treemap.entrySet();//*****修改****//
        for(Entry<LongWritable,String > ent : entrySet){
            System.out.println(ent.getValue() + " " + ent.getKey());        
        }
    }
}

程序输出:

北京 1
南京 2
秦皇岛 3
济南 4
天津 5
上海 6
苏州 7

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

MapReduce框架中Key-Value对象的重用

从代码看问题@Override protected void reduce(Text key, Iterable values,Context context) ...

Kafka到Hdfs的数据Pipeline整理

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间总结整理了下数据从Kafka到Hdfs的一些pipeline,如下 1> Ka...

Hadoop伪分布模式操作

摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习、开发和调试。 关键词:Hadoop 伪分布式 文件配置...

java-mongodb-mapreduce多集合、单集合的、多个map-key、多个map-value

最近项目使用到了mogodb的mapreduce统计程序, 以下程序,可以统计“mapreduce多集合、单集合的、多个map-key、多个map-value” java-mongodb-mapred...

通过MapReduce统计每个单子在每个文件中出现的次数(FileSplit的使用),单词作为key,所在文本和次数作为value进行统计

代码如下:package cn.toto.bigdata.mr.index; import java.io.IOException; import org.apache.hadoop.conf.C...

如何自定义mapreduce在输出的key和value之间自动添加的分隔符

背景:我在用mahout做一个推荐

MapReduce读取txt文件存储至HBase,以文件名作Key,整个文件内容作Value

接到老大分配的任务: 把抓取好的网络舆情信息(以txt形式存放),存储到HBase中,再进行信息分析。 要求: 以文件名作Key,整个文件内容作Value 思路: txt文件先上传到HD...

mapreduce 利用InverseMapper.class对key,value进行 交换实现词频排序 .

1.实现的map类

Mapreduce算法四、key值和value值分别是组合值

Mapreduce算法四、key值和value值分别是组合值

吴超-----mapreduce的二次排序【在key排序的基础上,对value也进行排序】RawComparator

文章来源: http://www.superwu.cn/2013/08/18/492/ MapReduce中的二次排序 在MapReduce操作时,我们知道传递的会按照key的大小...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于MapReduce框架中Key-Value对象的重用
举报原因:
原因补充:

(最多只允许输入30个字)