第3节、Yarn的常用命令和生产环境核心参数(开发常用)

1、Yarn常用命令

1.1、yarn application 查看任务

(1)列出所有Application:
格式:yarn application -list
例如:
cf6680c989e7ee1ff99ed3b1922d9a01.png
(2)根据Application状态查询:
yarn application -list -appStates <状态>(所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPPTED、RUNNING、FINISHED、FAILED、KILLED)
例如:
1.yarn application -list -appStates FINISHED
900ef91b57f82a2fff0d4c8d410ff58c.png
2.yarn application -list -appStates RUNNING
35405d91b4c23dadca8bd4080e9397c4.png
(3)Kill掉Application
yarn application -kill <任务ID>
常用于执行任务时,任务卡死,结束任务可释放资源。
例如:
bb3cd276a382041e05f8b06dbda564d3.png

1.2、yarn logs 查看日志

(1)查询Application日志:
yarn logs -applicationId <ApplicationId>
在Application日志可看到该jobID的containerID以及job的各种运行情况、配置信息等
例如:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q195AMag-1640860029976)(…/…/_resources/3ff0204c9bd2cdd7e3b1bf753f1d19cf.png)]
021ae485f06f8b94ef462790ea7caf3b.png
(2)查询Container日志:
yarn logs -applicationId <ApplicationId> -containerId <ContainerID>
例如:
fc4af961e69a27b104b60c6bea0663f5.png

1.3、yarn applicationattempt 查看尝试运行的任务

(1)列出所有Application尝试的列表:
yarn applicationattempt -list <ApplicationId>
例如:
d9f2f106c67e27140a7e4db90c786a50.png
(2)打印ApplicationAttemp状态:
yarn applicationattempt -status <ApplicationAttemptId>
例如:
53521ab8c046bf4e80689391b55bccb7.png

1.4、yarn container 查看容器

(1)列出所有Container:
yarn container -list <ApplicationAttemptId>
例如:
949d7e352cf35d49eef5ddd6ac169138.png
(2)打印Container的状态:
yarn container -status <ContainerId>
注:只有在任务跑的途中才能看到 container 的状态
例如:
5d456e9c12cb1aa598b1308d61b81745.png

1.5 yarn node 查看节点状态

列出所有节点:
yarn node -list -all
例如:
ba4bc80d13b796190077023027ea8198.png

1.6 yarn rmadmin 更新配置

加载队列配置:
yarn rmadmin -refreshQueues
只是查看yarn下面的队列相关配置,并不是yarn的配置信息,具有一定的局限性。
例如:
b27a1bb2858fd8c6f25337c99910abf6.png

1.7 yarn queue 查看队列

打印队列信息:
yarn queue -status <QueueName>
Yarn的容量调度器中的队列
例如:查看默认的队列信息
168f1b40a45593464984545796b11eaa.png
(2)可通过web UI查看
输入master:8088,,点击左侧Scheduler
点击Queue:default即可查看。
c4aa63771d653e2ead6972f3e3fca20c.png

2、Yarn生产环境的核心配置参数(灰常重要)

8d7be253e95fafc9eb50fb2f7a0d4fcd.png

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TryBest_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值