hadoop 中配置历史服务 日志聚集

💛配置历史服务

• 目的

配置历史服务后你会清楚地了解到集群中有几个Map Task，有几个Reduce Task, 任务什么时候提交了，什么启动了，什么时候完成了

• 配置过程

1. 打开配置文件mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop201:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop201:19888</value>
</property>

2. 启动分布式集群

sbin/start-dfs.sh

3. 启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

注意：jobhistoryserver需单独启动

4. jps查看

看到JobHistoryServer代表配置成功

ubuntu@ubuntu01:/opt/moudles/hadoop-2.9.2$ jps
6018 NameNode
6150 DataNode
6892 Jps
6364 SecondaryNameNode
6845 JobHistoryServer

💛配置日志聚集

• 目的

应用运行完成以后，将程序运行日志信息上传到HDFS系统上

• 配置过程

1. 打开配置文件 yarn-site.xml

其中添加

<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天即604800秒-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<!-- 任务历史服务 -->
<property> 
    <name>yarn.log.server.url</name> 
    <value>http://hadoop201:19888/jobhistory/logs/</value> 
</property>

2. 重新启动NodeManager 、ResourceManager和HistoryManager。