大数据2_06_hadoop3.x配置历史服务器和日志聚集

6 配置历史服务器和日志聚集

配置历史服务器

步骤1：配置mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

步骤2：分发配置到其他节点

xsync /opt/module/hadoop3.1.3/etc/

步骤3：启动历史服务器

mapred --daemon start historyserver
# 也可以配置完日志聚集功能再启动historyserver

步骤4：查看历史服务器是否启动

配置日志聚集

为什么要配置日志聚集？

配置日志聚集可以将日志信息上传到HDFS系统上。方便查看程序运行情况，方便开发调试。

注意：开启日志聚集功能，需要重新启动nodemanager、resourcemanager、historyserver

步骤1：配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

步骤2：分发配置

xsync /opt/module/hadoop3.1.3/etc/

步骤3：关闭重启nodemanager、resourcemanager、historyserver

stop-yarn.sh
mapred --daemon stop historyserver

start-yarn.sh
mapred --daemon start historyserver

步骤4：执行wordcount程序

# 如果HDFS有/output目录删除
hdfs dfs -rm -rf /output
# 执行mapreduce程序
hadoop jar /opt/module/hadoop3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

步骤5：查看日志

https://hadoop102:19888/jobhistory

如何查看日志？

产生一个错误：没有删除/opt/module/hadoop3.1.3/data/ 和 /opt/module/hadoop3.1.3/logs就再次format namenode

日志的状态等级：

INFO消息 正常日志输出

WARN警告 有可能出错的日志警告，后面是INFO说明该警告没有导致错误。后面如果是ERROR或者FATAL说明该警告导致错误，那么该WARN就是错误产生原因。

ERROR错误 出现ERROR有可能集群还能苟延残喘的运行。

FATAL致命 出现FATAL时致命的集群一定不能运行。

步骤1：产生错误

步骤2：查看日志信息

步骤3：分析错误产生原因

步骤4：解决该问题

# 删除所有节点的data和logs
rm -rf /opt/module/hadoop3.1.3/data/	/opt/module/hadoop3.1.3/logs/
#重新format
hdfs namenode -format

步骤5：问题解决