ZooKeeper 网络故障应对法

网络故障可以说是分布式系统设计的一生之敌。如果永远不发生网络故障，我们实际上可以设计出高可用强一致的分布式系统。可惜的是网络故障在长时间运行的分布式系统中必然发生，ZooKeeper(ZK) 在运行过程中也会遇到网络故障。

首先，我们看看没有故障的时候，ZK 如何处理网络连接。

ZK 客户端启动时，会从配置文件中读取所有可用服务器的位置信息，随后随机地尝试和其中一台服务器连接。如果成功建立起连接，ZK 客户端和服务器会建立起一个会话（session），在会话超时之前，服务器会响应客户端的请求。每次新的请求都会刷新会话超时的时间，没有业务请求的时候，客户端也会通过定期的心跳来维持会话。当 ZK 客户端和当前连接的服务器失联时，客户端会尝试重新连接到可用服务器列表中的一台服务器上。

接下来，我们来了解网络故障在 ZK 的世界里如何被抽象。

网络故障在 ZK 的层面被抽象为两种异常，一种是 ConnectionLossException，另一种是 SessionExpireException。前者发生在 ZK 客户端与当前服务器断开之后，后者发生在 ZK 服务器通知客户端会话超时的时候。

ConnectionLossException

这个异常是 ZK 中最让人头痛的异常之一。

ZK 客户端通过 socket 和 ZK 集群的某台服务器连接，这个连接在客户端由 ClientCnxn 管理，在服务器由 ServerCnxn 管理。ConnectionLossException 在 ZK 客户端与当前服务器的连接异常关闭时抛出，它仅仅表明 ZK 客户端发现自己与当前服务器的连接断开，除此之外什么也不知道。因为不知道更多信息，实践中，我们需要对不同的断开原因进行探测和处理。

从可恢复的故障中恢复

ConnectionLossException 是一个可恢复的异常，它仅代表 ZK 客户端与当前服务器的连接断开，ZK 客户端完全有可能稍后连接上另一个服务器并重新开始发送请求。

在 ZK 集群网络不稳定的情况下，我们要特别小心地处理这类异常，不能直接层层外抛。否则，因为网络抖动导致上层应用崩溃是不可接受的。

同时，在这种异常情况下重新创建一个 ZK 客户端开启一个新的会