yarn日志聚合配置项大全

最新推荐文章于 2024-06-02 17:14:35 发布

星尘之子

最新推荐文章于 2024-06-02 17:14:35 发布

阅读量1.6k

点赞数 2

本文链接：https://blog.csdn.net/m0_37613244/article/details/109700110

版权

本文详细介绍了YARN日志聚合的相关配置，包括yarn.log-aggregation-enable以开启日志聚合，yarn.nodemanager.remote-app-log-dir指定聚合日志的HDFS路径，以及保留时间和检查间隔等关键参数。此外，还提到了容器日志的本地保存路径和删除策略。对于日志聚合后的存储位置，通常在History Server上查看，但具体存储在Namenode还是Datanode并未明确指出。

摘要由CSDN通过智能技术生成

（1）yarn.log-aggregation-enable：是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志，并将这些日志移动到文件系统中，例如 HDFS。用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。用户可以通过Application Timeline Server访问日志。

<property>
 <name>yarn.log-aggregation-enable</name>
 <value>false</value>
</property>

（2）yarn.nodemanager.remote-app-log-dir：聚合日志保存路径（HDFS文件系统）

<property>
  <description>Where to aggregate logs to.</description>
  <name>yarn.nodemanager.remote-app-log-dir</name>
  <value>/tmp/logs</value>
</property>

（3）yarn.nodemanager.remote-app-log-dir-suffix：和（2）一起组成聚合日志完整保存路径。即聚合日志存放的真正路径是{yarn.nodemanager.remote-app-log-dir}/${user}/{ yarn.nodemanager.remote-app-log-dir-suffix }，默认为/tmp/logs/${user}/logs。

<property>
  <description>The remote log dir will be created at 
    {yarn.nodemanager.remote-app-log-dir}/${user}/{thisParam}

最低0.47元/天解锁文章