hadoop 之 MR程序报Type mismatch in value from map错

Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
上面这个错误刚刚接触MR的朋友们一定不陌生,这是因为你的map输出与reduce的输入匹配不上,但这只是一个原因。我来分享我遇到另一种情况。

这是我的Mapper,输出都是Text

public static class DataMapper extends Mapper<Object, Text, Text, Text>

而我的Reduce,输出的是Text和NullWritable

public static class DataReduce extends Reducer<Text,Text, Text, NullWritable>

在默认的情况下map阶段和reduce阶段的输出是一样的,即下面的情况是认为map的输出的key是Text,输出的value是NuNullWritable

job.setOutputKeyClass(Text.class);// 设定OutputKey实现类,Text.class是默认实现
job.setOutputValueClass(NullWritable.class);// 设定OutputValue实现类

但是事实情况我们的map输出与Reduce是不一样的,所以你还需要设置MapOutput的key和value。

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值