Hadoop伪分布式 => 配置日志聚集

小妖666

于 2020-04-06 11:11:35 发布

阅读量232

点赞数

分类专栏： E-Hadoop 文章标签： Hadoop 伪分布式配置日志聚集

本文链接：https://blog.csdn.net/weixin_38883338/article/details/105339951

版权

该博客介绍了如何在Hadoop伪分布式环境下配置日志聚集，使得程序运行的日志信息能够上传到HDFS，便于通过网页浏览。内容包括停止并重新启动相关服务，编辑yarn-site.xml配置文件，启动服务以及执行示例WordCount任务。

摘要由CSDN通过智能技术生成

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览

注意：开启日志聚集功能，需要重新启动 NodeManager, ResourceManager, HistoryManager

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

cd /opt/module/hadoop-2.9.2

sudo vim etc/hadoop/yarn-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

启动集群：

sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
sbin/mr-jobhistory-daemon.sh start h