hadoop配置日志的聚集

应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

开启日志聚集功能，需要重新启动NodeManager、ResourceManager和
HistoryManager。

• 开启日志聚集功能具体步骤如下：

1、配置yarn-site.xml

进入etc目录下

cd etc/hadoop/

vi yarn-site.xml

把下面内容配置到yarn-site.xml

<!--日志聚集功能使能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--日志保留时间设置7天-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2、关闭NodeManager、ResourceManager和HistoryManager

进入sbin目录

cd sbin/

yarn-daemon.sh stop resourcemanager

yarn-daemon.sh stop nodemanager

mr-jobhistory-daemon.sh stop historyserver

3、启动NodeManager、ResourceManager和HistoryManager

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

mr-jobhistory-daemon.sh start historyserver

4、删除HDFS上已经存在的输出文件

hdfs dfs -rm -r /user/root/*out*

5、执行WordCount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount /user/root/input /user/r
oot/output_new