集群的高级设定

1 时间同步 2 历史服务器 3 日志合并

配置 ntp服务器

修改配置文件  vim /etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10

 

restrict default ignore
restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap    （ip是自己的）

 

 

改完配置要重启ntp服务

 

 

第一台机器启动ntp服务：

 

第二台ntp同步时间必须关了 因为要和第一台时间同步 都起了不知道和谁同步

 

 

和第一台机器同步：

 

 

第三台也是一样的

 

 

其他两台机器要想同步时间的话 那么第一台必须起来一个同步时间的服务

继续配置crontab -e　　　　 每隔10秒同步一下时间：注意全路径

* * * * * /usr/sbin/ntpdate 主机名
* * * * * sleep 10: /usr/sbin/ntpdate 主机名
* * * * * sleep 20: /usr/sbin/ntpdate 主机名
* * * * * sleep 30: /usr/sbin/ntpdate 主机名
* * * * * sleep 40: /usr/sbin/ntpdate 主机名
* * * * * sleep 50: /usr/sbin/ntpdate 主机名

 

第一台改一下时间：

 

 

第二台一直date最终会和第一台同步时间：

第三台一直date最终会和第一台同步时间：

 

配置历史服务器

运行一个wc程序

 

去观察 yarn的页面

 

去观察你提交程序的历史信息以及分布在各个节点还需要配置日志聚合

 

历史服务器 是mapre-site.xml文件

 

 

将文件scp： 单台：注意第三台不需要分发

 

启动历史服务器： 

mr-jobhistory-daemon.sh start historyserver

 

日志聚合 在yarn-site.xml中

<property>
<name>yarn.log-aggregation-enable</name>
<!--开启日志聚合 -->
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/hadoop/logs</value>
</property>

 

 

 

注意分发到另外两台节点：

重启 yarn:stop-yarn.sh

再重启下历史服务器

 

转载于:https://www.cnblogs.com/sx66/p/10692483.html