ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复

背景：

小项目用到的服务器老旧，其中一台周末因为总线等硬件原因挂掉了，各种监控报警，运维尝试恢复失败后直接建议更新设备，于是需要服务迁移和恢复。

其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。

组里的架构加运维大牛走了，小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。

Tips：要学会利用日志、日志、日志排查问题。

 

一、ZooKeeper

最初尝试恢复的实际是Flink，恢复失败后发现其日志中关于zooKeeper的报错（如下），于是又恢复zookeeper。项目用到的Kafka同样依赖zookeeper，恢复zookeeper后kafka服务自动恢复。

2021-01-11 14:42:40,259 INFO  org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn  - Opening socket connection to server 10.*.*.*/10.*.*.*:2181

2021-01-11 14:43:00,281 INFO  org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn  - Client session timed out, have not heard from server in 20266ms for sessionid 0x0, closing socket connection and attempting reconnect

恢