背景:
小项目用到的服务器老旧,其中一台周末因为总线等硬件原因挂掉了,各种监控报警,运维尝试恢复失败后直接建议更新设备,于是需要服务迁移和恢复。
其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。
组里的架构加运维大牛走了,小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。
Tips:要学会利用日志、日志、日志排查问题。
一、ZooKeeper
最初尝试恢复的实际是Flink,恢复失败后发现其日志中关于zooKeeper的报错(如下),于是又恢复zookeeper。项目用到的Kafka同样依赖zookeeper,恢复zookeeper后kafka服务自动恢复。
2021-01-11 14:42:40,259 INFO org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn - Opening socket connection to server 10.*.*.*/10.*.*.*:2181
2021-01-11 14:43:00,281 INFO org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn - Client session timed out, have not heard from server in 20266ms for sessionid 0x0, closing socket connection and attempting reconnect
恢