hadoop集群中有个slave节点的时间与master不同步

在slave3上jps,发现没有HQuorumPeer

查看log


 

cd /usr/local/hbase/logs

 

tail -n 100 hbase-hadoop-regionserver-slave3-t.log

发现报错:


 

2018-03-09 13:26:00,207 INFO  [regionserver/slave3-t/192.168.8.73:16020] regionserver.HRegionServer: STOPPED:Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException:Server slave3-t,16020,1520573142864 has been rejected;Reported time is too far out of sync with master.  Timedifference of 42951ms > max allowed of 30000ms

 

解决方法:

把slave3-t的时间设为与master-t同步:


 

[root@node1 ~]# ntpdate master-t

27 Feb 10:10:15 ntpdate[32724]: adjust time server 192.168.217.130 offset -0.170230 sec

 

 

注意,在我的master机器上,各节点的名字是这样的,所以ntpdate后面接的名字必须与hosts文件中的一致。


 

hadoop@master-t:~$ cat /etc/hosts

127.0.0.1 localhost

192.168.8.70    master-t

192.168.8.71    slave1-t

192.168.8.72    slave2-t

192.168.8.73    slave3-t

 

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

hadoop@master-t:~$ 

 

 

【注意】

(1)网上,找了很多帖子,写的都是遇到这个问题要重启zookeeper啥的,我目前暂不知道zookeeper怎么重启,没找到配置文件,不知道zookeeper的安装路径。我就是把slave3-t的时间同步了一下。

(2)有时候,时间不同步会引起很多问题,而且不一定会有类似 Time difference of 42951ms > max allowed of 30000ms这种报错。比如我今天遇到了什么java vm内存不够,启动base启动失败,jps报错 java.lang.OutOfMemoryError: unable to create new native thread 等等,我一查几个节点的时间,相差20多分钟。。。天哪,肯定会出现问题。

3)改完设置,要等五分钟,要不然报错"no server suitable for synchronization found"  。亲历。真的。

 

 

 

如果要在slave机器上,设定时,与master同步,一定要root账号去执行。

就是切换为root账号,然后去 crontab -e。 类似下面这样:


 

[root@node1 ~]# crontab -l

* */1 * * * /usr/sbin/ntpdate master

 

展开阅读全文

没有更多推荐了,返回首页