hadoop 日志及历史服务器

最新推荐文章于 2022-09-02 16:48:45 发布

豆腐单

最新推荐文章于 2022-09-02 16:48:45 发布

阅读量637

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/xu511739113/article/details/75041346

版权

hadoop 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文介绍了如何配置Hadoop日志以及MapReduce的历史服务器。主要内容包括MapReduce自带的历史服务器JobHistory Server的配置，如设置mapred-site.xml文件，并详细讲解了启动历史服务器的步骤。同时，文章还提及了在yarn-site.xml中配置日志聚集的必要性。

摘要由CSDN通过智能技术生成

hadoop 日志及历史服务器

hadoop日志

Hadoop日志存放在 $HADOOP_HOME/logs 目录下

这里写图片描述

日志文件的命名规范
        框架名-用户名-进程名-主机名-日志格式后缀

MapReduce 自带历史服务器JobHistory Server配置

配置 mapred-site.xml 文件

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>

启动历史服务器

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

另需要在 yarn-site.xml 配置日志聚集

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>