hadoop下 Type mismatch in value from map的问题

为什么有时候我们写的好好的map(k1, v1, k2, v2) ——> reduce(k2,list(v2), k3, v3)为什么就是出现Type mismatch in value from map这样的错误呢？为什么呢？对于大多数的mapreduce程序而言，都是基于模板来写的，很少有人从一个空白来写出mapreduce程序，没有这个必要。问题就出在你的这个模板上，你的模板上可能有这么一句:

1 job.setCombinerClass(Reduce.class); 

这样一来数据流就变了，变成了map(k1, v1, k2, v2) ——> combiner(k2,list(v2), k3, v3) ——> reduce(k2,list(v2), k3, v3)

仔细看一下，如果从combiner到reduce是有问题的，如果(k3, v3)与(k2, v2)不相同的话，就会报错了！！！

所以这就是错误发生的根源，不要盲目地用combiner！！！给自己提个醒。

请把这一句代码给注释掉，或者自己重新写一个正确的！

转载于:https://www.cnblogs.com/hengli/archive/2012/11/29/2794937.html