本文介绍了YARN（Yet Another Resource Negotiator）在Hadoop中的作用，作为资源管理和作业调度的框架。内容包括YARN的产生背景，解决的问题，以及其核心组件：ResourceManager、NodeManager、ApplicationMaster和Container的职责。此外，还详细阐述了YARN环境的搭建步骤，以及如何提交作业到YARN上进行运行。
Yarn 是一个资源管理，作业调度的框架。
Yarn产生背景：
Hadoop1.x时，MapReduce是Master/Slave架构。一个JobTracker带多个TaskTracker.
JobTracker负责资源管理和作业调度。TaskTracker,定期向JobTracker汇报本节点的健康状况，资源使用情况，作业执行情况，接受JobTracker的命令。
JobTracker一旦挂掉，Map Reduce则无法正常运行。
yarn 架构：
- ResourceManager:整个集群中同一时间提供服务只有一个。负责集群资源的统一调度和管理。处理客户端的请求：提交一个作业、杀死一个作业。监控NodeManager，一旦该nodeManager挂了，那么nodeManager运行的任务需要告诉ApplicationMaster。
- NodeMana
最低0.47元/天 解锁文章
1242
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
