Hadoop
文章平均质量分 54
Zxy_true
低调的抗压的伙夫兄弟
展开
-
加入HBase组件后Hive报错问题:MethodNotFoundException
运行HBase组件后,Hive各种报错找不到方法。是jar包冲突导致的。由于在hadoop-env.sh中通过引入hbase下的所有jar包的方式引入的: 这种方式配置会引入hbase的lib目录下所有jar包,此时hive会因为jar包冲突而崩溃(hive会加载hadoop的jar包,而hadoop又加载hbase里hadoop的jar包,造成了冲突)。删除hbase下的hadoop的jar包。或者不要用这种方式,通过软链接的方式引入hbase的jar包即可。 hbase下的冲突jar包:...原创 2022-06-13 17:33:47 · 354 阅读 · 0 评论 -
MapReduce默认切片规则源码
在job提交过程中,在submitter.submitJobInternal的方法中,从以下代码进行切片并把切片数作为maps数量 进入writeSpites方法,会调用writeNewSplits方法。在writeNewSplits方法中会调用input。input.getSplits方法进行切片并返回逻辑切片的列表,而createSplitFiles将会在临时工作目录创建切片元数据信息文件。而input则是通过反射创建一个InputFormat对象,默认是TextInputFormat。 继续进原创 2022-05-11 21:45:59 · 191 阅读 · 0 评论