Hadoop中mapreduce常见代码错误

本文探讨了Java编程中遇到的入口类导入错误、map/reduce类型不匹配、类名过长问题,以及如何正确设置输出类型。还涉及了同时实现WritableComparable时的注意事项和变量声明的最佳实践。
摘要由CSDN通过智能技术生成
  1. 入口错误
    import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;
    import org.apache.hadoop.io.Text;
    下面正确

  2. map输出的k,v类型与reduce输入的k,v类型不一致
    public class ByteCalculationMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    public class ByteCalculationReducer extends Reducer<Text, IntWritable, Text, Text> {

  3. 类名过长,复制粘贴多了Key写成Value(两个都写成了value)
    job.setMapOutputValueClass(FlowBean.class);
    job.setMapOutputValueClass(Text.class);

  4. 当同时实现Writable和Comparable类时,必须写一起
    WritableComparable

  5. 变量声明
    全局声明了变量,注意局部不要再声明变量类型,直接引用变量名即可,否则变量将使用无效

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值