Yarn 常用命令

最新推荐文章于 2024-08-19 03:31:26 发布
最新推荐文章于 2024-08-19 03:31:26 发布
阅读量3.8k 收藏 11
点赞数 3
分类专栏： Yarn 文章标签： Yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43215250/article/details/90671681
版权

  1. yarn命令

    用法:

    yarn [--config confdir] COMMAND
    参数描述
    resourcemanager -format-state-store格式化RMStateStore,只有当历史作业不再需要时，才需要格式化
    resourcemanager启动 ResourceManager。用 -format-state-store for 删除 RMStateStore； 使用 -remove-application-from-state-store 从RMStateStore中删除应用程序
    nodemanager在每个节点启动 NodeManager
    timelineserver启动 timeline server
    rmadmin管理工具
    version版本信息
    jar 运行 jar 文件
    application查看应用程序状态，或终止应用程序
    applicationattempt打印应用程序尝试报告
    container打印 Container 尝试报告
    node打印节点尝试报告
    queue打印对列信息，只有一个参数
    logs主要用于收集作业日志，注意要等程序结束才能查看日志
    classpath打印 Hadoop 相关依赖和其他依赖库
    daemonlog针对指定的守护进程获取/设置日志优先级
    top启动集群使用工具
    CLASSNAME启动 CLASSNAME 类

    示例：

    [root@cdh01:~]# yarn version
Hadoop 2.6.0-cdh5.12.1
Subversion http://github.com/cloudera/hadoop -r 520d8b072e666e9f21d645ca6a5219fc37535a52 
Compiled by jenkins on 2017-08-24T16:43Z
Compiled with protoc 2.5.0
From source with checksum de51bf9693ab9426379a1cd28142cea0
This command was run using /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/jars/hadoop-common-2.6.0-cdh5.12.1.jar

  2. yarn rmadmin 命令

    用法:

    Usage: yarn rmadmin COMMAND
    参数描述
    -refreshQueues重载队列的ACL、状态和调度器特定的属性，ResourceManager将重新加载mapred-queues配置文件
    -refreshNodes [-g [timeout in seconds] -clientserver]
    -refreshSuperUserGroupsConfiguration刷新用户组的配置
    -refreshUserToGroupsMappings刷新用户到组的映射
    -refreshAdminAcls刷新 ResourceManager 的 ACL 管理
    -refreshServiceAclResourceManager 重载服务级别的授权文件
    -getGroups [username]获取指定用户所属的组
    -help [cmd]显示指定命令的帮助，没有指定，则显示全部指令帮助
    -addToClusterNodeLabels [label1,label2,label3] (label splitted by “,”)添加标签
    -removeFromClusterNodeLabels [label1,label2,label3] (label splitted by “,”)移除标签
    -replaceLabelsOnNode [label1,label2,label3] (label splitted by “,”)替换标签
    directlyAccessNodeLabelStore
    transitionToActive [–forceactive]
    transitionToStandby
    failover [–forcefence] [–forceactive]
    getServiceState
    checkHealth

    示例：

    [root@cdh01:~]# yarn rmadmin -getGroups hdfs
hdfs : hdfs hadoop supergroup

  3. yarn application 命令

    用法:

    Usage: yarn application COMMAND
    参数描述
    -appStates 与 -list 配合使用，基于应用程序的状态来过滤,多个状态用逗号分隔状态。有效的状态: ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED
    -appTypes 与 -list 配合使用，基于应用程序的类型来过滤，多个应用程序用逗号分隔
    -help帮助列表
    -kill 杀死指定的应用程序
    -list从 ResourceManager 获取应用程序列表. 使用 -appTypes 基于应用程序的类型来过滤 使用 -appStates 基于应用程序的状态来过滤
    -movetoqueue 将应用程序移动到不同的队列
    -queue 与 movetoqueue配合使用，移到指定队列
    -status 获取应用程序的状态

    示例：

    [root@cdh01:~]# yarn application -status application_1557221110563_0246
...
Application Report : 
	Application-Id : application_1557221110563_0246
	Application-Name : INSERT OVERWRITE TABLE hdsc...hdsc.base_user(Stage-1)
	Application-Type : MAPREDUCE
	User : admin
	Queue : default
	Start-Time : 1557366149859
	Finish-Time : 1557366154321
	Progress : 100%
	State : KILLED
	Final-State : KILLED
	Tracking-URL : null
	RPC Port : -1
	AM Host : N/A
	Aggregate Resource Allocation : 3111 MB-seconds, 2 vcore-seconds
	Log Aggregation Status : NOT_START
	Diagnostics : Application killed by user.

  4. yarn applicationattempt 命令

    用法:

    Usage: yarn applicationattempt COMMAND
    参数描述
    -help帮助列表
    -list 获取应用程序尝试的列表
    -status 获取应用程序尝试的状态

    示例：

    [root@cdh01:~]# yarn applicationattempt -list application_1557221110563_0246
...
Total number of application attempts :1
		 ApplicationAttempt-Id	               State	                    AM-Container-Id	                       Tracking-URL
appattempt_1557221110563_0246_000001	              KILLED	container_e52_1557221110563_0246_01_000002	http://slave1:8088/proxy/application_1557221110563_0246/

[root@cdh01:~]# yarn applicationattempt -status appattempt_1557221110563_0246_000001
Application Attempt Report : 
ApplicationAttempt-Id : appattempt_1557221110563_0246_000001
State : KILLED
AMContainer : container_e52_1557221110563_0246_01_000002
Tracking-URL : http://slave1:8088/proxy/application_1557221110563_0246/
RPC Port : -1
AM Host : N/A
Diagnostics : Attempt recovered after RM restart

  5. yarn container 命令

    用法:

    Usage: yarn container COMMAND
    参数描述
    -help帮助列表
    -list 获取 Container 列表
    -status 获取 Container 的状态

    示例：

    [root@cdh01:~]# yarn container -list appattempt_1557221110563_0369_000001
...
Total number of containers :0
				  Container-Id	          Start Time	         Finish Time	               State	                Host	                            LOG-URL

  6. yarn node 命令

    用法:

    yarn node COMMAND
    参数描述
    -all与 -list 打印所有节点的报告
    -list获取所有 RUNNING 状态的节点。 支持 -states 选项过滤指定的状态。节点状态包括 NEW,RUNNING,UNHEALTH,DECOMMISSIONED,LOST 和 REBOOTED
    -states 与 -list 配合使用，用逗号分隔节点状态，只显示这些状态的节点信息
    -status 获取指点节点的状态

    示例：

    [root@cdh01:~]# yarn node -all -list
...
Total Nodes:5
   Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
cdh01:8041	        RUNNING	cdh01:8042	                  0
cdh02:8041	        RUNNING	cdh02:8042	                  0
cdh03:8041	        RUNNING	cdh03:8042	                  0
cdh04:8041	        RUNNING	cdh04:8042	                  0
cdh05:8041	        RUNNING	cdh05:8042	                  0

[root@cdh01:~]# yarn node -status cdh01:8041
Node Report : 
Node-Id : cdh01:8041
Rack : /default
Node-State : RUNNING
Node-Http-Address : cdh01:8042
Last-Health-Update : Thu 30/May/19 08:14:31:270CST
Health-Report : 
Containers : 0
Memory-Used : 0MB
Memory-Capacity : 12288MB
CPU-Used : 0 vcores
CPU-Capacity : 4 vcores
Node-Labels :

  7. yarn queue 命令

    用法:

    yarn queue COMMAND
    参数描述
    -help帮助列表
    -status 获取队列的状态

    示例：

    [root@cdh01:~]# yarn queue -status default
...
Queue Information : 
Queue Name : root.default
	State : RUNNING
	Capacity : .0%
	Current Capacity : .0%
	Maximum Capacity : -100.0%
	Default Node Label expression : 
	Accessible Node Labels :

  8. yarn logs 命令

    用法:

    yarn logs -applicationId <application ID> [OPTIONS]
    参数描述
    -appOwner 指定应用程序的所有者
    -containerId 指定运行任务的 Container ID
    -nodeAddress 指定运行任务的节点，格式为 host:name

  9. yarn daemonlog 命令

    用法:

    yarn daemonlog -getlevel <host:port> <classname> [-protocol (http|https)]
或
yarn daemonlog -setlevel <host:port> <classname> <level> [-protocol (http|https)]
    参数描述
    -getlevel host:port 针对指定的守护进程获取日志优先级
    -setlevel host:port [-protocol (httphttps)

    示例：

    [root@cdh01:~]# yarn daemonlog -getlevel cdh01:50075 org.apache.hadoop.hdfs.server.datanode.DataNode
root@bigdata-sit-54:~# yarn daemonlog -getlevel bigdata-sit-54:50075 org.apache.hadoop.hdfs.server.datanode.DataNode
Connecting to http://cdh01:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode
Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective Level: INFO
[root@cdh01:~]# yarn daemonlog -getlevel cdh01:8088 org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Connecting to http://cdh01:8088/logLevel?log=org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Submitted Log Name: org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective Level: INFO
[root@cdh01:~]# yarn daemonlog -getlevel cdh01:19888 org.apache.hadoop.mapreduce.v2.hs.JobHistory
Connecting to http://cdh01:19888/logLevel?log=org.apache.hadoop.mapreduce.v2.hs.JobHistory
Submitted Log Name: org.apache.hadoop.mapreduce.v2.hs.JobHistory
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective Level: INFO
storm_fury
关注
专栏目录
【Yarn】Yarn 命令详解
九师兄
09-21 1万+
创建项目：yarn init安装依赖包：yarn == yarn install添加依赖包：yarn add配置淘宝镜像：yarn config set registry “https://registry.npm.taobao.org”
【yarn】hadoop yarn 常用命令
九师兄
02-21 639
列出所有 Application：yarn application -list比较有趣的是在flink程序中，这个 Tracking-URL 是可以直接访问flink web ui的。所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLEDKill掉Application：yarn application -kill 任务ID。
Yarn常用命令
汐泠的博客
07-10 659
通过阅读本文你可以掌握yarn的常用命令以及使用，
脚本查看yarn任务状态
最新发布
weixin_35336727的博客
08-19 67
我整理的一些关于【HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/xltfov使用脚本查看Yarn任务状态的指南 在大数据处理领域，Apache Hadoop是一个高度流行的框架，而YARN（Yet Another Resource Negotiator）是Hadoop...
yarn常用命令
weixin_63681863的博客
05-22 509
Yarn 是一个快速、可靠且安全的依赖管理工具，用于替代 npm。
yarn 常用命令
10-20
以下是Yarn的一些常用命令： 1. yarn application -list：列出所有正在运行的应用程序。 2. yarn application -kill <ApplicationId>：杀死指定的应用程序。 3. yarn application -status <ApplicationId&...
YARN常用命令
11号车厢
07-12 1247
文章目录概述用户命令节点（node）日志（logs）其他命令rmadmindaemonlog 概述 yarn命令由bin/yarn下面的脚本调用。不带任何参数运行yarn脚本会打印所有命令的描述。 用法： yarn [--config confdir] COMMAND yarn有一个选项解析框架作为运行类用于解析一般的选项。 命令选项 描述 –config confdir 覆盖缺省...
yarn 常用命令(干干货!)
撑戌圆爱痒生
07-21 810
yarn 常用命令yarn安装依赖包安装卸载依赖包初始化一个新项目安装项目打包项目运行项目 yarn安装 npm install yarn 依赖包安装 yarn add package 卸载依赖包 yarn remove package 初始化一个新项目 yarn init 安装项目 yarn install 或 yarn 打包项目 yarn build 运行项目 yarn run dev(serve) ...
yarn的常用命令
m0_46168848的博客
01-05 8709
yarn常用命令： 1.yarn application 查看任务 （1）列出所有Application yarn application -list （2）根据 Application 状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED） 2.yarn logs 查看日志 （1）查看Application 日志 yarn logs
yarn常用基本命令
小天才程序员的博客乐园
03-03 8952
Yarn 常用基本命令
Hadoop、Yarn相关命令简介
象在舞的技术专栏
08-05 928
HDFS、MapReduce和Yarn并称为Hadoop的核心三大组件，本文着重介绍Hadoop以及Yarn在命令行操作时的相关命令，文中如有不妥之处，欢迎大家及时提出~ 一、Hadoop相关基础命令 1、查看Hadoop中的job信息 hadoop job -list 这里会显示一些job id 状态等信息。 2、杀死某个job hadoop job -kil...
yarn命令汇总
第⑦个前端
07-15 8130
npm只需要执行npmconfigsetstrict-sslfalseyarn只需要执行yarnconfigsetstrict-sslfalse。
npm yarn命令
weixin_42666092的博客
06-07 338
npm的常用命令 npm install 模块名 -g 全局安装模块 npm unnstall 模块名 卸载 npm -v 查看版本 npm init 或者 npm init -y 初始化，初始化一个package.json,如果都使用默认操作， 无需手动修改，就使用 npm init -y npm install 模块名 --save-dev 自动把模块和版本号都安装到开发环境， 它的缩写是 npm install
【YARN】yarn 基本命令
Zsigner的博客
08-04 286
1、查看 应用命令 yarn application --list 2、终止application yarn appclication -kill ID eg: yarn appclication -kill application_1553586756026_6634044
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值