集群时间同步
完全分布式模式由多台主机组成,各个主机的时间可能存在较大差异。如果时间差异较大,执行MapReduce程序的时候会存在问题。如果服务器能连接外网,可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。
NTP服务通过获取网络时间使集群内不同主机的时间保持一致,如果系统未安装NTP服务需要进行安装。
安装流程:NTP服务安装流程
集群时间同步流程:
- 需求
选定一个机器,作为时间服务器,所有的机器与这台服务器时间进行定时同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。
- 时间服务器配置(必须root用户)
(1)查看所有节点ntpd服务状态和开机自启动状态
$ sudo systemctl status ntpd
$ sudo systemctl start ntpd
$ sudo systemctl is-enabled ntpd
(2)修改hadoop102的ntp.conf配置文件
$ sudo vim /etc/ntp.conf
修改内容如下
(a)修改1(授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间)
#解除注释
#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
(b)修改2(集群在局域网中,不使用其他互联网上的时间)
# 打开注释
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
(c)添加3(当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步)
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(3)修改hadoop102的/etc/sysconfig/ntpd 文件
$ sudo vim /etc/sysconfig/ntpd
增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes
(4)重新启动ntpd服务
$ sudo systemctl start ntpd
(5)设置ntpd服务开机启动
$ sudo systemctl enable ntpd
3)其他机器配置(必须root用户)
(1)关闭所有节点上ntp服务和自启动
$ sudo systemctl stop ntpd
$ sudo systemctl disable ntpd
(2)在其他机器配置1分钟与时间服务器同步一次
$ sudo crontab -e
编写定时任务如下:
*/1 * * * * /usr/sbin/ntpdate hadoop102
(3)测试:修改任意机器时间
sudo date -s "2022-9-30 09:18:45"
(4)1分钟后查看机器是否与时间服务器同步
sudo date