hadoop 日志及历史服务器
- hadoop日志
Hadoop日志存放在 $HADOOP_HOME/logs 目录下
日志文件的命名规范
框架名-用户名-进程名-主机名-日志格式后缀
- MapReduce 自带历史服务器JobHistory Server配置
配置 mapred-site.xml 文件
<property>
<name>mapreduce.jobhistory.address</name>
<value>0.0.0.0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>0.0.0.0:19888</value>
</property>
启动历史服务器
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
另需要在 yarn-site.xml 配置日志聚集
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>