hadoop之yarn

hadoop1.x
1. ResourceManagement 资源管理
2. JobScheduling/JobMonitoring 任务调度监控
hadoop2.x
1. ResourceManger
Scheduler（资源调度器，负责协调集群中各个应用的资源分配，保障整个集群的运行效率）
ApplicationManager（负责接收job的提交请求，为应用分配第一个Container来运行ApplicationMaster，还有就是负责监控ApplicationMaster，在遇到失败时重启ApplicationMaster运行的Container。）
2. ApplicationMaster（向ResourceManager申请资源并和NodeManager协同工作来运行应用的各个任务然后跟踪它们状态及监控各个任务的执行，遇到失败的任务还负责重启它。）
3. Container（Yarn框架的计算单元，是具体执行应用task（如map task、reduce task）的基本单位。Container和集群节点的关系是：一个节点会运行多个Container，但一个Container不会跨节点。）
4. NodeManager（NodeManager是一个slave服务：它负责接收ResourceManager的资源分配请求，分配具体的Container给应用。同时，它还负责监控并报告Container使用信息给ResourceManager。通过和ResourceManager配合，NodeManager负责整个Hadoop集群中的资源分配工作。ResourceManager是一个全局的进程，而NodeManager只是每个节点上的进程，管理这个节点上的资源分配和监控运行节点的健康状态。）

• 接收ResourceManager的请求，分配Container给应用的某个任务
• 和ResourceManager交换信息以确保整个集群平稳运行。ResourceManager就是通过收集每个NodeManager的报告信息来追踪整个集群健康状态的，而NodeManager负责监控自身的健康状态。
• 管理每个Container的生命周期
• 管理每个节点上的日志
• 执行Yarn上面应用的一些额外的服务，比如MapReduce的shuffle过程