hadoop调度器

1:默认调度器 :FIFO

这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker 按照作业的优先级高低及提交顺序 执行

HOD调度器: 此调度器的原理是一个hadoop物理机群中,分割出好多虚拟的hadoop集群,然后一个job跑一个虚拟机群

 

完整地流程是:

  1:用户想HOD调度器申请一个包含一定数目节点的集群,并要求该集群中运行一个hadoop实例

  2:HOD客户端利用资源管理器接口qsub提交一个被成为RingMaster的进程作为Torque作业,同时申请一定数目的节点,这个作业就被提交到pbs_server上

  3:在各个计算节点上,守护进程pbx_mom接受并处理pbc_server分配的作业,RingMaster进程在其中一个计算节点上开始运行

  4:RingMaster通过Torque的另外一个接口pbsdsh在所有分配到得计算节点上运行第二个hod组件HodRing,即运行于各个计算节点