yarn核心总结
yarn 是hadoop 的资源管理 软件。
yarn 作为通用资源管理 ,它并不关心你拿资源做什么,而是你要资源他就给你资源 ,你用完之后还给它即可。因为 yarn 不仅仅是作为 mr的资源管理,它还可以为其他的应用程序作为资源管理 如:spark /storm 等 都可以。
YARN 是一个资源管理、任务调度的框架,主要包含三大模块:
ResourceManager :负责所有资源的监控、分配和管理;
ApplicationMaster: 负责每一个具体应用程序的调度和协调;
NodeManager :负责每一个节点的维护。
NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况(目前主要是 CPU 和内存的使用情况)。RM 只接受 NM 的资源回报信息,对于具体的资源处理则交给 NM 自己处理。
可以把 yarn 理解为相当于一个分布式的操作系统平台,而 mapreduce 等运算程序则相
当于运行于操作系统之上的应用程序,Yarn 为这些程序提供运算所需的资源(内存、cpu)
1.yarn 并不清楚用户提交的程序的运行机制
2.yarn 只提供运算资源的调度(用户程序向 yarn 申请资源,yarn 就