一 ,YARN是什么
YARN 全称(yet anthor resource negotiator)是HADOOP 的集群资源管理系统,YARN提供请求和使用集群资源的API
YARN的核心思想是将资源管理和Job的调度/监控进行分离
Mapreduce1和YARN的比较
MapReduce1 | YARN |
---|---|
Jobtracker | 资源管理器,application master,时间轴服务器 |
Tasktracker | 节点管理器 |
Slot | 容器 |
可扩展瓶颈:节点4000,任务数40000 | 可扩展瓶颈:节点10000,任务数100000 |
jobtracker中有大量快速变化的复杂状态 | 高可用 |
— | 多租户 |
静态分配slot(mapslot 和 reduceslot) | 资源池,精细化管理 |
在Hadoop 1.0及更早版