hadoop集群搭建之测试集群，配置历史服务器，日志聚集，时间同步

hadoop集群搭建之测试集群，配置历史服务器，日志聚集，时间同步

前期概要：我们完全分布式集群已经搭建完毕，并且还写了群启/群关的脚本，

接下来有必要来测试一遍集群，我们可以使用官方的案例，用它们在集群上跑一遍

运行官方wordcount案例

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

思考，这里的/wcinput和/wcoutput目录是哪儿的？？

发现不是本地的，这是有core-site.xml中fs.defaultFS配置决定的，默认是本地，现在我们配置为了 hdfs://hadoop102:9820

配置历史服务器

历史服务器是针对MR程序执行的历史纪录

配置步骤：mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml 
[atguigu@hadoop102 hadoop]$ 添加如下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

修改了配置分发一下

[atguigu@hadoop102 hadoop-3.1.3]$ my_rsync.sh etc/hadoop/mapred-site.xml 

启动历史服务器

[atguigu@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

日志聚集功能

日志是针对MR程序运行时所产生的日志

目的：方便后期分析问题，有更好的 执行过程的一句

配置步骤：yarn-site.xml

开启日志聚集功能

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml 
[atguigu@hadoop102 hadoop]$ 添加如下配置

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

# 分发配置
[atguigu@hadoop102 hadoop-3.1.3]$ my_rsync.sh etc/hadoop/yarn-site.xml

启动集群

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

再重新泡跑个job,然后查看日志聚集效果

集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。