YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，主要由ResourceManager、NodeManager、ApplicationMaster和Container组成。ResourceManager负责处理客户端请求，分配资源；NodeManager是任务计算的从节点；ApplicationMaster负责任务执行的资源分配和监控；Container作为资源分配单位。此外，JobHistoryServer用于查看任务历史日志，TimelineServer则监控所有运行在YARN上的任务。在YARN中，关键参数如最小和最大内存分配、虚拟内核数等对性能有直接影响。
1.主要组件
ResourceManager：主节点，处理客户端请求，分配资源
NodeManager：从节点，主要用于任务的计算
ApplicationMaster：当有新的任务提交到ResourceManager的时候，ResourceManager会在某个从节点nodeManager上面启动一个ApplicationMaster进程，负责这个任务执行的资源的分配，任务的生命周期的监控等
Container：资源的分配单位，ApplicationMaster启动之后，与ResourceManager进行通信，向ResourceManager提出资源申请的请求，然后ResourceManager将资源分配给ApplicationMaster，这些资源的表示，就是一个个的container
JobHistoryServer：这是yarn提供的一个查看已经完成的任务的历史日志记录的服务，我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息
最低0.47元/天 解锁文章
2349
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
