本文详细介绍了YARN提交MapReduce作业的全过程，包括YARN的工作机制、MapReduce工作流程、Shuffle机制和MapTask、ReduceTask的工作细节。重点阐述了Shuffle的缓冲区大小对性能的影响，以及MapReduce的优化方法，如数据输入、Map和Reduce阶段、IO传输和参数调优。同时，讨论了HDFS小文件的问题及其解决方案。
YARN提交MR程序流程
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。
图4-23 Yarn基本架构
Yarn工作机制
1．Yarn运行机制，如图4-24所示。
图4-24 Yarn工作机制
2．工作机制详解
（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）MRAppmaster从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行MapTask资源。
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。
5.4 作业提交全过程
1．作业提交过程之YARN，如图4-25所示。
图4-25 作业提交过程之Yarn
作业提交全过程详解
（1）作业提交
第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
第2步：Client向RM申请一个作业
最低0.47元/天 解锁文章
1905
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
