本文介绍了YARN的基础架构，包括ResourceManager、NodeManager、ApplicationMaster和Container的职责。详细阐述了YARN的工作机制，从MR程序提交到最终运行完成的步骤。同时，解释了HDFS、YARN和MapReduce三者之间的关系，YARN负责任务资源的分配，而MapReduce进行计算，HDFS提供数据存储。
yarn主要有ResourceManager、NodeManage、ApplicationMaster和Container等组件构成。
其中：ResourceManager（RM）的主要作用：处理客户端请求；监控NodeManager、启动或监控ApplicationMaster；资源的分配和调度。
NodeManager（NM）的主要作用：管理单个节点上的资源；处理来自ResourceManager的命令；处理来自ApplicationMaster的命令。
ApplicationMaster（AM）的主要作用：为应用程序申请资源并分配给内部的任务；任务的监控和容错。
Container：Container是yarn中的资源抽象，封装了某个节点的多维度资源，如CPU、内存、磁盘和网络等。
6764
621
2292
1025
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
