MapReduce框架中Key-Value对象的重用

从代码看问题

@Override
        protected void reduce(Text key, Iterable<Text> values,Context context)
                throws IOException, InterruptedException {
            List<Text> list =new ArrayList<String>();
            int sum=0;
            for(Text val : values){
                list.add(val);
            }
            for(Text text : list){
                // 总是输出values列表中最后一个值
                System.out.println(text.toString());
            }

这是因为MapReduce框架对Key对象和Value对象重用

The framework calls this method for each <key, (list of values)> pair in the grouped inputs. Output values must be of the same type as input values. Input keys must not be altered. The framework will reuse the key and value objects that are passed into the reduce, therefore the application should clone the objects they want to keep a copy of.

也就是说虽然reduce方法会反复执行多次，但key和value相关的对象只有两个，reduce会反复重用这两个对象。所以如果要保存key或者value的结果，只能将其中的值取出另存或者重新clone一个对象（例如Text store = new Text(value) 或者 String a = value.toString()），而不能直接赋引用。因为引用从始至终都是指向同一个对象，你如果直接保存它们，那最后它们都指向最后一个输入记录。会影响最终计算结果而出错。