- MR程序提交到客户端所在节点。
- YarnRunner 向 ResourceManager 申请一个 Application。
- ResourceManager 将应用资源的上传路径返回 YarnRunner。
- 将资源上传至 hdfs,并申请运行 MRAppMaster。
- ResourceManager 将用户请求初始化为 Task。
- 一个 NodeManager 领取到 Task。
- 创建 Container,并产生MRAppMaster。
- Container 从 hdfs 拷贝资源到本地。
- MRAppMaster 向 ResourceManager 申请运行 MapTask。
- ResourceManager 将 MapTask 分配给另外两个 NodeManager, 领取任务并创建 Container。
- MR 向接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager 分别启动 MapTask。
- MRAppMaster 等待所有 MapTask 运行完成之后,向 ResourceManager 申请运行 ReduceTask。
- ReduceTask 向MapTask 获取数据。
- 程序运行完成,MR 向 ResourceManager 申请注销自己。
Hadoop Yarn 工作机制
于 2022-07-18 18:52:50 首次发布