<think>好的，我现在需要解决用户关于如何使用YARN
查看历史日志的问题。用户提到了yarn
logs命令，并且引用了一些相关的资料，我需要结合这些引用来整理出一个清晰的步骤指南。
首先，用户提供的引用中有提到使用yarn
logs -applicationId来
查看运行日志，例如引用[1]中的命令：yarn
logs -applicationId application_1660378737778_0001。这说明基本命令结构是yarn
logs加上应用程序ID。这是关键的第一步，用户需要知道如何获取这个应用程序ID。
接下来，引用[4]提到可以通过YARN的Web界面（比如hadoop103:8088）
查看作业状态，或者使用命令行工具。用户可能需要先找到对应的应用程序ID，这时候可以使用yarn application -list命令，如引用[2]中的例子，结合grep来筛选特定的作业。例如，yarn application -list | grep <word> 可以查找包含特定关键词的作业，这样用户就能快速找到需要的应用程序ID。
然后是关于日志文件的存储位置。引用[3]指出物理日志路径在/yarn/container-
logs目录下，通常在某个节点（如cdh01）上。不过用户可能更关心如何通过命令行访问这些日志，而不是直接去文件系统查找。这时候，yarn
logs命令应该已经能够获取这些日志内容，但用户可能需要了解参数来调整输出，比如-containerId和-nodeAddress，这在帮助文档中可能有说明，需要进一步确认。
用户的问题还包括参数说明和文件位置。根据引用[3]，日志存储在HDFS的/yarn/container-
logs路径下，每个应用程序的容器日志会分布在不同节点。不过，使用yarn
logs命令时，用户不需要手动去各个节点查找，因为该命令会自动聚合日志吗？或者YARN的日志聚合功能是否开启会影响日志的存储位置和访问方式。如果聚合未开启，日志可能分散在各个NodeManager的本地目录，而开启后则存储在HDFS中。因此，需要提醒用户确认集群是否启用了日志聚合，这可能影响日志的
查看方式。
此外，引用[4]提到可以通过Yarn命令
查看任务运行情况，比如提交WordCount作业后用命令监控。这里可能需要补充说明如何启用日志聚合，因为默认情况下可能未开启，导致无法通过yarn
logs获取
历史日志。例如，需要配置yarn.log-aggregation-enable为true，并且设置yarn.nodemanager.remote-app-log-dir为HDFS路径，这样日志才会被聚合到HDFS，之后才能通过yarn
logs查看。
用户可能需要了解如何
查看特定容器的日志，这时候-containerId和-nodeAddress参数就派上用场了。例如，如果用户知道某个容器运行在特定节点上，可以使用这些参数直接获取日志。但首先需要知道容器ID和节点地址，这可能需要通过ResourceManager的Web界面或yarn application -status <applicationId>命令来获取。
总结步骤应该是：
1. 获取应用程序ID：使用yarn application -list或Web界面。
2. 使用yarn
logs -applicationId <ID>
查看聚合后的日志（如果启用聚合）。
3. 若需要特定容器日志，使用-containerId和-nodeAddress参数。
4. 确认日志聚合是否启用，否则需要到各节点本地目录查找。
同时，参数说明需要包括常用的选项，比如-show_container_log_info显示容器信息，-appOwner指定用户等。另外，日志保存时间可能受集群配置限制，用户需注意日志保留策略。
最后，用户可能需要示例命令和注意事项，比如日志文件的位置和权限问题，以及如何配置日志聚合。需要将这些信息整理成清晰的步骤，并引用相关的参考资料，确保用户能够一步步操作。</think>### 如何用YARN
查看历史日志的
方法及命令说明
#### 1.
查看历史日志的核心命令
使用`yarn
logs`命令可直接
查看指定应用程序的聚合日志，基本格式为：
```bash
yarn
logs -applicationId <application_id>
```
例如：
```bash
yarn
logs -applicationId application_1660378737778_0001
```
此命令会输出该应用程序所有容器的汇总日志（需集群启用日志聚合功能）[^1][^4]。
#### 2. 关键参数说明
| 参数 | 作用 | 示例 |
|------|------|------|
| `-applicationId` | 指定应用程序ID（必填） | `-applicationId application_xxx` |
| `-containerId` | 过滤特定容器日志 | `-containerId container_xxx` |
| `-nodeAddress` | 指定容器所在节点 | `-nodeAddress hadoop103:8041` |
| `-appOwner` | 指定应用程序所有者 | `-appOwner user1` |
| `-show_container_log_info` | 显示容器日志元信息 | 添加该参数直接使用 |
#### 3. 操作步骤
**步骤1：获取应用程序ID**
- 通过Web界面访问`http://<resourcemanager_host>:8088`，在YARN任务列表中查找目标应用ID。
- 或通过命令行筛选：
```bash
yarn application -list | grep "关键词"
```
例如查找包含"wordcount"的作业[^2][^4]。
**步骤2：
查看完整日志**
```bash
yarn
logs -applicationId application_xxx
```
**步骤3（可选）：
查看特定容器日志**
1. 通过Web界面进入应用程序详情页，找到容器ID和所在节点。
2. 执行命令：
```bash
yarn
logs -applicationId application_xxx -containerId container_xxx -nodeAddress hadoop103:8041
```
#### 4. 日志文件存储位置
- **聚合日志路径**：若集群启用日志聚合，日志存储在HDFS目录 `/yarn/container-
logs` 下，按应用ID和容器ID组织[^3]。
- **本地日志路径**：未启用聚合时，日志分散在各NodeManager节点的本地目录（默认路径为 `$YARN_HOME/
logs/user
logs`）。
#### 5. 注意事项
- **日志聚合要求**：必须配置 `yarn.log-aggregation-enable=true` 且作业完成后聚合需一定时间。
- **权限问题**：需具有应用程序所有者权限或YARN管理员权限才能
查看完整日志。
- **日志保留时间**：由集群配置 `yarn.log-aggregation.retain-seconds` 决定，超时后自动删除。
本文介绍了如何进入日志文件夹，通过tar命令解压按日期组织的日志文件到指定目录如/tmp。如果要查找并解压特定日志，可以使用tar的-ztf选项预览文件然后解压。查完日志后，为节省磁盘空间，建议删除或保存解压出的历史日志。
扫一扫
1005
到【灌水乐园】发言
