ClouderaManager中ZooKeeper Canary挂掉

最奇怪的是ZK报错不写日志:

我明明设置的是/data/log/zookeeper/  但是这个路径下的日志文件不写日志最新的是2月的。

首先理清楚思路,怎么找问题

1：第一个问题是zk的canary为什么会掉，导致其他的服务也都掉了。

2: 为什么不写日志。

首先: ZooKeeper Canary我理解用于测试ZK节点是否正常的心跳服务，canary去其他服务的客户端连接失败了所以报错。

但是ZK的服务都正常运行。

去查看2181端口是否开放

[bigdata@master ~]$ telnet 10.29.86.93 2181
Trying 10.29.86.93...
Connected to 10.29.86.93.
Escape character is '^]'.
^ZConnection closed by foreign host.
[bigdata@master ~]$ 

再查看有哪些进程监听了这个2181端口

[root@master zookeeper]# netstat -nap |grep 2181 | awk '{print $7}' |  sort
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
13927/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
14431/java
16737/java
17812/java
17812/java
17820/java
17820/java
19855/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
26954/java
31573/java
31573/java

发现26954这个进程监听了很多2181端口

统计一下：netstat -nap |grep 2181 | awk '{print $7}' |  sort | uniq -c

     14 -
      1 13927/java
     28 14431/java
      1 16737/java
      2 17812/java
      2 17820/java
      1 19855/java
    197 26954/java
      2 31573/java

发现26954进程一共占用了 197个连接。

 

ps -ef |grep  26954 发现这个进程是kafka eagle可视化界面的进程。

而我ZK最大客户端连接数是60  eagle把2181端口连接数占满了,所以导致其他服务也都掉了。

 

设置120后重启,问题解决。日志也写到对应路径了。但是不知道为什么连接数占用完之后会不写日志。

另外我去设置了一下eagle的连接数。

我设置的是25，但是今天是197个, 有可能是因为我昨晚kafka掉了 但是eagle连接不到zk之后一直再重试, 但是为什么重试的次数会超出本身限制的次数？目前不清楚。