Hadoop专栏（九）Yarn的SHELL命令和Hadoopuoye调度器

一、Yarn的SHELL命令

任务管理
显示运行的应用程序

yarn -application -list

杀死正在运行的任务

yarn application -kill 任务id

节点管理
查看节点列表

yarn node -list

查看节点状态

yarn node -status 节点ID

二、Hadoop作业调度器

FIFO
Capacity scheduler
Fair

具体设置可以查看yarn-default.xml文件

FIFO先进先出调度器
FIFO Scheduler把应用按提交的顺序拍成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最上头的应用进行资源分配，待最头上的应用需求满足后再给下一个分配，以此类推


容量调度器（Capacity Scheduler）
支持多个队列，每个队列可配置一定的资源量，每个队列都采用FIFO调度策略
存在资源的一些浪费

公平调度器（Fair Scheduler）
支持多队列，多用户，每个队列中的资源可以配置，同一队列中的作业共享队列中所有资源


如图，在新的job添加后，分配一半资源给新的job，让两个任务共享资源区。在任何时候，资源都是占满的