主机重启使得Kudu时间不同步的解决方法

问题描述：集群一直运行好好的，突然一天集群机器发生关机->重启后，通过CM观察发现，多个组件飘红，包括HBase、Kudu等，如下图

 

通过查看kudu进程的角色日志，发现是由于时钟不同步引起的，错误日志如下：

 

解决办法：

 

1、登录agent所有机器(除开ntp 服务器)，执行命令service ntpd restart

[root@cdh-002 ~]# ntpstat 查看同步状态，出现synchronised 表示同步成功

synchronised to NTP server (10.211.128.21) at stratum 12

time correct to within 1888 ms

polling server every 64 s

（如果等了很久，还不能同步，可以试一下ntpdate -u +时钟服务器  强制同步）

2、登录agent所有机器(除开ntp 服务器)，执行命令service cloudera-scm-agent restart

3、点击红色按钮，重启CM服务

4、等一会儿，CM所有组件恢复绿色，恢复正常