-
入口错误
import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;
import org.apache.hadoop.io.Text;
下面正确 -
map输出的k,v类型与reduce输入的k,v类型不一致
public class ByteCalculationMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
public class ByteCalculationReducer extends Reducer<Text, IntWritable, Text, Text> { -
类名过长,复制粘贴多了Key写成Value(两个都写成了value)
job.setMapOutputValueClass(FlowBean.class);
job.setMapOutputValueClass(Text.class); -
当同时实现Writable和Comparable类时,必须写一起
WritableComparable -
变量声明
全局声明了变量,注意局部不要再声明变量类型,直接引用变量名即可,否则变量将使用无效
Hadoop中mapreduce常见代码错误
最新推荐文章于 2022-07-19 12:38:16 发布
本文探讨了Java编程中遇到的入口类导入错误、map/reduce类型不匹配、类名过长问题,以及如何正确设置输出类型。还涉及了同时实现WritableComparable时的注意事项和变量声明的最佳实践。
摘要由CSDN通过智能技术生成