Hadoop YARN常用命令

最新推荐文章于 2024-07-10 10:46:10 发布

转身成为了码农

最新推荐文章于 2024-07-10 10:46:10 发布

阅读量402

点赞数 7

文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/alphonse_10/article/details/135385357

版权

本文介绍了YARN（YetAnotherResourceNegotiator）在Hadoop集群中的重要角色，包括查看应用程序、管理资源、执行MapReduce作业、监控节点和队列状态以及配置管理等常用命令，提示读者根据Hadoop版本调整和注意权限问题。

摘要由CSDN通过智能技术生成

YARN（Yet Another Resource Negotiator）是Hadoop集群的资源管理器，负责调度和管理计算资源。以下是一些常用的YARN命令：

查看指定应用程序的信息

yarn application -status <Application ID>

杀死指定的应用程序

yarn application -kill <Application ID>

获取应用程序的日志

yarn logs -applicationId <Application ID> [-containerId <Container ID>] [-nodeAddress <Node Manager Host:Port>]

启动一个已打包好的MapReduce作业
```
hadoop jar /path/to/your/mapreduce-jar.jar your.main.ClassName -Dmapreduce.job.name="JobName" input-dir output-dir
```
注意：这里的hadoop jar命令实际上是间接调用了YARN来执行MapReduce作业。
查看节点信息
```
yarn node -all -status
```
查看队列信息
```
yarn queue -status
```
获取RM（ResourceManager）状态
```
yarn rmadmin -getClusterMetrics
```

更改队列配额

yarn rmadmin -setQueueCapacity <queue-name> <capacity>

更新配置属性

yarn config -update propertyName newValue

请根据实际安装的Hadoop版本调整上述命令，不同版本之间可能有细微差别。同时，在一些情况下，你可能需要使用具有足够权限的用户账户来执行这些命令。

关注