Hadoop中mapreduce常见代码错误

  1. 入口错误
    import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;
    import org.apache.hadoop.io.Text;
    下面正确

  2. map输出的k,v类型与reduce输入的k,v类型不一致
    public class ByteCalculationMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    public class ByteCalculationReducer extends Reducer<Text, IntWritable, Text, Text> {

  3. 类名过长,复制粘贴多了Key写成Value(两个都写成了value)
    job.setMapOutputValueClass(FlowBean.class);
    job.setMapOutputValueClass(Text.class);

  4. 当同时实现Writable和Comparable类时,必须写一起
    WritableComparable

  5. 变量声明
    全局声明了变量,注意局部不要再声明变量类型,直接引用变量名即可,否则变量将使用无效

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值