176.Hadoop(八):Yarn的常用命令,Yarn生产环境核心参数,容量调度器多队列,公平调度器,Tool接口

本文详细介绍了Yarn的常用命令,包括application、logs、applicationattempt、container、node、rmadmin和queue的使用。同时,深入讨论了Yarn在生产环境中的核心参数,如ResourceManager、NodeManager和Container的相关配置。还通过案例展示了如何配置容量调度器的多队列和公平调度器,以及如何利用Yarn的Tool接口进行任务提交。
摘要由CSDN通过智能技术生成

目录

一、Yarn的常用命令

1.yarn application查看任务

(1)列出所有Application

(2)根据Application状态过滤

(3)Kill掉Application

2.yarn logs查看日志

(1)查询Application日志

(2)查询Container日志

3.yarn applicationattempt查看尝试运行的任务

(1)列出所有Application尝试的列表

(2)打印ApplicationAttemp状态

4.yarn container查看容器

(1)列出所有Container

(2)打印Container状态

5.yarn node查看节点状态

(1)列出所有节点

6.yarn rmadmin更新配置

(1)加载队列配置

7.yarn queue查看队列

(1)打印队列信息

二、Yarn生产环境核心参数

1.ResourceManager相关

2.NodeManager相关

3.Container相关

三、Yarn生产环境核心参数配置案例

1.需求

2.需求分析

3.修改yarn-site.xml配置参数

四、容量调度器多队列提交案例

1.生产环境下怎么创建队列

2.需求

3.具体实现

(1)配置多队列的容器调度器,并指定对应的队列运行任务

(2)设置队列优先级

五、公平调度器案例

1.需求

2.具体实现

六、Yarn的Tool接口

1.需求

2.具体实现


先运行默认的wordcount :

#启动hadoop
cd /opt/module/
myhadoop.sh start

#查看是否启动成功
jpsall

#运行默认的wordcount
hadoop jar hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output22

一、Yarn的常用命令

1.yarn application查看任务

(1)列出所有Application

yarn application -list
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鹏哥哥啊Aaaa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值