Hadoop 教程 - Hadoop YARN常用命令操作详解

Hadoop YARN提供了丰富的命令行工具，用于管理和监控YARN集群上的应用程序。下面是一些常用的YARN命令及其操作详解：

1. 查看YARN集群信息

• 命令：yarn cluster --status
• 说明：查看YARN集群的整体状态，包括ResourceManager的状态和集群的健康状况。

2. 列出所有应用程序

• 命令：yarn application -list [ALL | RUNNING | FINISHED | FAILED | KILLED]
• 说明：显示所有应用程序的列表。默认情况下，只显示正在运行的应用程序。使用参数可以筛选特定状态的应用程序。

3. 查看应用程序详情

• 命令：yarn application -info <application_id>
• 说明：通过指定应用程序ID，获取该应用的详细信息，包括启动时间、状态、资源使用情况等。

4. 杀死应用程序

• 命令：yarn application -kill <application_id>
• 说明：终止指定应用程序的执行，需要提供应用程序ID。

5. 查看应用程序的日志

• 命令：yarn logs -applicationId <application_id> [-log_files <logfile>] [-containerId <container_id>]
• 说明：查看应用程序的输出日志，可以指定日志文件名或容器ID来获取更详细的日志信息。

6. 调整ResourceManager日志级别

• 命令：yarn daemonlog -getlevel <rm_address> <class_name>
• 命令：yarn daemonlog -setlevel <rm_address> <class_name> <log_level>
• 说明：用于获取或设置ResourceManager中指定类的日志级别，这对于调试非常有用。

7. 查看NodeManager信息

• 命令：yarn node -list [-all]
• 说明：列出所有NodeManager的信息。使用-all选项可以查看包括不健康的节点在内的所有节点信息。

8. 查看NodeManager的资源使用情况

• 命令：yarn node -status <node_id>
• 说明：显示指定NodeManager的详细资源使用情况和状态。

9. 获取Container信息

• 命令：yarn container -list <application_id>
• 说明：列出指定应用程序的所有容器信息。

10. 查看Container详情

• 命令：yarn container -status <container_id>
• 说明：显示指定容器的详细状态信息。

这些命令是管理YARN应用程序和监控集群状态的基础，熟练掌握它们可以帮助你有效地运维和调试Hadoop YARN集群。实际操作时，根据具体需求和集群配置，命令的使用可能会有所差异。