一、Yarn的SHELL命令
任务管理
显示运行的应用程序
yarn -application -list
杀死正在运行的任务
yarn application -kill 任务id
节点管理
查看节点列表
yarn node -list
查看节点状态
yarn node -status 节点ID
二、Hadoop作业调度器
FIFO
Capacity scheduler
Fair
具体设置可以查看yarn-default.xml文件
FIFO先进先出调度器
FIFO Scheduler把应用按提交的顺序拍成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最上头的应用进行资源分配,待最头上的应用需求满足后再给下一个分配,以此类推
容量调度器(Capacity Scheduler)
支持多个队列,每个队列可配置一定的资源量,每个队列都采用FIFO调度策略
存在资源的一些浪费
公平调度器(Fair Scheduler)
支持多队列,多用户,每个队列中的资源可以配置,同一队列中的作业共享队列中所有资源
如图,在新的job添加后,分配一半资源给新的job,让两个任务共享资源区。在任何时候,资源都是占满的