MapReduce切片机制以及maptask和reducetask并行度设置
1 MapReduce运行流程
1最先启动MRAppMaster,MRAppMaster根据job的描述信息,计算需要的maptask实例的数量,然后向集群申请机器,启动相应数量的maptask进程。
2 maptask启动之后,根据给定的数据切片范围进行数据处理。
A利用指定的inputformat来获取RecordReader对象读取数据,形成KV输入。
B将输入的kv对传递给客...
原创
2018-07-29 20:01:46 ·
1628 阅读 ·
0 评论