hadoop 核心注意事项 小总:maptask并行机制 reduce并行机制 task并行 数据倾斜 shuffle mapreduce 参数优化 自定义计时器counter
标题hadoop 核心注意事项 小总
1.maptask的并行机制(逻辑切片)
时间:是在mr客户端提交程序到yarn之前。
地点:mr程序客户端(main方法)
参与者:输入目录 FileInputFormat.getSplit();
规则是:对待处理的文件卓个遍历 一切片大小(blocksize)对文件进行逻辑切片
split size=blocksize=128m;
默认 :1342177...
原创
2019-05-20 13:35:08 ·
689 阅读 ·
0 评论