hadoop调度器

最新推荐文章于 2022-05-05 15:10:21 发布

起个啥名呐

最新推荐文章于 2022-05-05 15:10:21 发布

阅读量863

点赞数 1

分类专栏： hadoop 文章标签： hadoop hadoop集群

本文链接：https://blog.csdn.net/lihui2011/article/details/52683138

版权

本文介绍了Hadoop的三种调度器：默认的FIFO调度器，HOD调度器以及Yahoo的Capacity Scheduler和Facebook的Fair Scheduler。Capacity Scheduler提供资源容量保证和灵活性，支持多用户共享，而Fair Scheduler则注重资源公平共享，支持资源抢占和负载均衡。文中还提到了其他调度器如自适应、自学习和动态调度器的特点。

摘要由CSDN通过智能技术生成

1:默认调度器 :FIFO

这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker 按照作业的优先级高低及提交顺序执行

HOD调度器: 此调度器的原理是一个hadoop物理机群中,分割出好多虚拟的hadoop集群,然后一个job跑一个虚拟机群

   完整地流程是: 
 
     1:用户想HOD调度器申请一个包含一定数目节点的集群,并要求该集群中运行一个hadoop实例 
 
     2:HOD客户端利用资源管理器接口qsub提交一个被成为RingMaster的进程作为Torque作业,同时申请一定数目的节点,这个作业就被提交到pbs_server上 
 
     3:在各个计算节点上,守护进程pbx_mom接受并处理pbc_server分配的作业,RingMaster进程在其中一个计算节点上开始运行 
 
     4:RingMaster通过Torque的另外一个接口pbsdsh在所有分配到得计算节点上运行第二个hod组件HodRing,即运行于各个计算节点