Yarn日志 - Log Aggregation

1. 概述

大数据任务的日志，首先保存于本地，但本地存储能力有限，且检索时需要切不同服务器，不够方便
Yarn Log Aggregation的主要功能，是将本地日志移动到HDFS或者云存储

日志的重要性

• 错误定位
• 历史分析

2. 聚合开关

• yarn.log-aggregation-enable，yarn日志聚合功能开关
  • true表示开启

3. 存储路径

3.1. 本地存储

• yarn.nodemanager.local-dirs，本地化文件存储目录，如JAR包、配置文件，参考值/hadoop/yarn/local
• yarn.nodemanager.log-dirs，本地日志存储目录，参考值/hadoop/yarn/log

参考

/hadoop/yarn/local/usercache/root/filecache/7517663/hutool-core-5.6.5.jar

3.2. HDFS存储

• remote-app-log-dir，聚合后日志在HDFS存放的目标目录，参考值/app-logs
• remote-app-log-dir-suffix，日志目录标识，应用日志将存放于HDFS目录${remote-app-log-dir}/${user}/${remote-app-log-dir-suffix}，参考值logs

示例

[root@bd81 init]# hadoop fs -ls /app-logs/hive/logs
Found 19 items
drwxrwx---   - hive hadoop          0 2022-01-07 14:59 /app-logs/hive/logs/application_1640935048479_3846
drwxrwx---   - hive hadoop          0 2022-01-07 15:00 /app-logs/hive/logs/application_1640935048479_3848
drwxrwx---   - hive hadoop          0 2022-01-07 15:00 /app-logs/hive/logs/application_1640935048479_3851
drwxrwx---   - hive hadoop          0 2022-01-07 15:01 /app-logs/hive/logs/application_1640935048479_3852

4. 存储格式

• yarn.log-aggregation.file-formats，日志存储格式：TFile、IFile

  IFile是在TFile的基础上，增加索引功能 （IFile的I = Indexed），所以它的检索速度要快于TFile

除了内置的2种文件格式，也支持自定义格式

5. 存储期限

• yarn.log-aggregation.retain-seconds，日志保留时限，默认7天
• yarn.nodemanager.delete.debug-delay-sec，本地文件、日志保留时限，0表示不删除