java高级交流群:37341439 欢迎所有学习hadoop2.2.0的朋友加入讨论交流,分享实战经验!我们群无下限哦~~
资源调度器是 hadoop yarn中最核心的组件之一,是resourcemanage中一个插拔式的服务组件,负责整个集群资源(container)的管理和分配。
背景:
hadoop最初设计目的是支持大数据批处理作业,如日志挖掘,web索引等作业,为此,hadoop仅提供了一个非常简单的调度机制:FIFO,即先来先服务,在该调度机制下,所有作业被统一提交到一个队列中,hadoop按照提交顺序依次运行这些作业。但是随着hadoop的普及,单个hadoop集群的用户量越来越大,不同用户提交的应用程序往往具有不同的服务质量要求(QoS),典型的应用有以下几种:
- 批处理作业:这种作业往往耗时很长,对时间完成一半没有严格要求,如数据挖掘,机器学习等方面的应用程序。
- 交互式作业:这种作业期望能及时放回结果(sql查询,hive)等
- 生产性作业:这种作业要求有一定量得资源保证,如统计值计算