网络故障可以说是分布式系统设计的一生之敌。如果永远不发生网络故障,我们实际上可以设计出高可用强一致的分布式系统。可惜的是网络故障在长时间运行的分布式系统中必然发生,ZooKeeper(ZK) 在运行过程中也会遇到网络故障。
首先,我们看看没有故障的时候,ZK 如何处理网络连接。
ZK 客户端启动时,会从配置文件中读取所有可用服务器的位置信息,随后随机地尝试和其中一台服务器连接。如果成功建立起连接,ZK 客户端和服务器会建立起一个会话(session),在会话超时之前,服务器会响应客户端的请求。每次新的请求都会刷新会话超时的时间,没有业务请求的时候,客户端也会通过定期的心跳来维持会话。当 ZK 客户端和当前连接的服务器失联时,客户端会尝试重新连接到可用服务器列表中的一台服务器上。
接下来,我们来了解网络故障在 ZK 的世界里如何被抽象。
网络故障在 ZK 的层面被抽象为两种异常,一种是 ConnectionLossException,另一种是 SessionExpireException。前者发生在 ZK 客户端与当前服务器断开之后,后者发生在 ZK 服务器通知客户端会话超时的时候。
ConnectionLossException
这个异常是 ZK 中最让人头痛的异常之一。
ZK 客户端通过 socket 和 ZK 集群的某台服务器连接,这个连接在客户端由 ClientCnxn 管理,在服务器由 ServerCnxn 管理。ConnectionLossException 在 ZK 客户端与当前服务器的连接异常关闭时抛出,它仅仅表明 ZK 客户端发现自己与当前服务器的连接断开,除此之外什么也不知道。因为不知道更多信息,实践中,我们需要对不同的断开原因进行探测和处理。
从可恢复的故障中恢复
ConnectionLossException 是一个可恢复的异常,它仅代表 ZK 客户端与当前服务器的连接断开,ZK 客户端完全有可能稍后连接上另一个服务器并重新开始发送请求。
在 ZK 集群网络不稳定的情况下,我们要特别小心地处理这类异常,不能直接层层外抛。否则,因为网络抖动导致上层应用崩溃是不可接受的。
同时,在这种异常情况下重新创建一个 ZK 客户端开启一个新的会