Yarn常用操作命令

Yarn常用命令

1.查看yarn的所有命令的使用方法

yarn application

2.查看yarn正在运行的任务列表

yarn application -list

3.kill掉yarn正在运行的任务

yarn application -kill application_1592962175770_0004

4.查找yarn已经完成的任务列表

yarn application -appStates finished -list

5.查找yarn所有任务列表

yarn application -appStates ALL -list

6.任务日志查看(任务节点查看)

yarn logs -applicationId appid	

7.查看对应用户的任务日志

yarn logs -applicationId appid -appOwner hadoop > appid.log

8.yarn聚合日志路径

yarn.nodemanager.remote-app-log-dir

9.yarn任务启动的jar包和配置信息所在路径

yarn.app.mapreduce.am.staging-dir

10.yarn日志保留时间

yarn.log-aggregation.retain-seconds=604800
yarn.log-aggregation.retain-check-interval-seconds=604800
yarn.nodemanager.log.retain-seconds=604800

11.yarn节点资源调整

yarn.nodemanager.resource.cpu-vcores=10
yarn.nodemanager.resource.memory-mb=39322

12.yarn任务保留个数调整

yarn.resourcemanager.max-completed-applications=50000

yarn任务状态信息会保存在zk中，调整参数时要考虑zk的内存大小，参数过大会把zk写挂

13.开启抢占

yarn.scheduler.fair.preemption=true

14.修改默认队列

 <queuePlacementPolicy>
    <rule name="specified" create="false"></rule>
    <rule name="default" queue="root.prod"></rule>
  </queuePlacementPolicy>

15.查看rm状态

yarn rmadmin -getServiceState rm1

16.手动切换rm状态

yarn rmadmin -transitionToStandby rm1