22.hadoop系列之Yarn三大调度器

Hadoop作业调度器主要有三种：FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)
Apache hadoop-2.7.2之后默认调度器是容量调度器Capacity Scheduler
Apache hadoop-3.2.2默认调度器是公平调度器Fair Scheduler

1.先进先出调度器FIFO

FIFO调度器(First In First Out)：单队列，根据提交作业的先后顺序，先来先服务

2.容量调度器

Capacity Scheduler是Yahoo开发的多用户调度器

2.1 容量调度器特点

• 多队列：每个队列可配置一定的资源量，每个队列采用FIFO调用策略
• 容量保证：管理员可为每个队列设置资源最低保证和使用上限
• 灵活性：如果队列资源有剩余，可以暂时共享给其他需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还
• 多租户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户作业独占队列中资源，该调度器会对同一用户提交的作业所占资源量进行限定

2.2 容量调度器资源分配算法

1. 队列资源分配：从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
2. 作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
3. 容器资源分配：按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
   • 任务和数据在同一节点
   • 任务和数据在同一机架
   • 任务和数据不在同一节点也不在同一机架

3.公平调度器

公平调度器除了具有容量调度器的特点外，不同点在于：

1. 核心调用策略不同：容量调度器优先选择利用率低的队列；公平调度器优先选择对资源的缺额【应获资源和实际获取的资源差距叫缺额】比较大的
2. 每个队列可以设置资源分配方式：容量调度器FIFO、DRF【Dominant Resource Fairness，根据CPU和内存公平调度资源】；公平调度器：FIFO、FAIR、DRF

欢迎关注公众号算法小生与我沟通交流