- YARN 工作机制
(1)MR 程序提交到客户端所在的节点;
(2)YarnRunner 向 ResourceManager 申请一个 Application;
(3)ResourceManager 将该应用程序的资源路径返回给 YarnRunner;
(4)该程序将运行所需资源提交到 HDFS 上;
(5)程序资源提交完毕后,申请运行 MRAppMaster;
(6)ResourceManager 将用户的请求初始化成一个 Task;
(7)其中一个 NodeManager 领取到 Task 任务;
(8)该 NodeManager 创建容器 Container,并产生 MRAppMaster;
(9)Container 从 HDFS 上拷贝资源到本地;
(10)MRAppMaster 向 ResourceManager 申请运行 MapTask 资源;
(11)ResourceManager 将 MapTask 任务分配给另外两个 NodeManager,另两个 NodeManager 分别领取任务并创建容器;
(12)MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个NodeManager 分别启动 MapTask,MapTask 对数据分区排序;
(13)MRAppMaster 等待所有 MapTask 运行完毕后,向 ResourceManager 申请容器,运行 ReduceTask;
(14)ReduceTask 向 MapTask 获取相应分区的数据;
(15)程序运行完毕后,MR 会向 ResourceManager 申请注销自己;
YARN 工作机制
最新推荐文章于 2023-06-03 17:40:07 发布