yarn管理集群中的资源,主要包含内存和处理器资源,分配资源。
yarn目前支持三种调度器:
FIFO Scheduler:先进先出,hadoop1中默认的一种调度器,如果一个离线任务占用资源太多,对实时任务不友好。只有一个队列
CapacityScheduler:可以看做是FIFOScheduler的多队列版本,在队列内部为先进先出,eg:离线任务队列和实时任务队列,两个队列之间是隔离的
FairScheduler:多队列,多任务共享资源。公平调度器,每个任务都有一定的资源,如果任务过多,每个任务可以分得的资源很少,也不太好。