Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
上面这个错误刚刚接触MR的朋友们一定不陌生,这是因为你的map输出与reduce的输入匹配不上,但这只是一个原因。我来分享我遇到另一种情况。
这是我的Mapper,输出都是Text
public static class DataMapper extends Mapper<Object, Text, Text, Text>
而我的Reduce,输出的是Text和NullWritable
public static class DataReduce extends Reducer<Text,Text, Text, NullWritable>
在默认的情况下map阶段和reduce阶段的输出是一样的,即下面的情况是认为map的输出的key是Text,输出的value是NuNullWritable
job.setOutputKeyClass(Text.class);// 设定OutputKey实现类,Text.class是默认实现
job.setOutputValueClass(NullWritable.class);// 设定OutputValue实现类
但是事实情况我们的map输出与Reduce是不一样的,所以你还需要设置MapOutput的key和value。
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);