漫游ZooKeeper nio通信过程

0.引子

最近在看分布式并发工具menagerie，借助ZooKeeper，实现常用的collection、lock。
menagerie 含金量高，可以作为工具储备，也可以借鉴开发技巧。

1.ZooKeeper通信

• 创建ZooKeeper对象，构造过程中会创建ClientCnxn对象，用于命令的发送、接收
• ClientCnxn 核心包含两个工作线程：sendThread 和 eventThread
• ZooKeeper对象构造完成，会内部调用ClientCnxn.start，也就是启动两个核心线程
• ClientCnxn 负责服务器通信，关键方法submitRequest，sendThread 完成nio的过程
• 所有的通信以Packet queue的形式体现

2.ClientCnxn.submitRequest分析

上源码：

// 提交操作命令request，结果回填response
public ReplyHeader submitRequest(..., Record request, Record response, ...) {
    ReplyHeader r = new ReplyHeader();
    // Packet 入队列，唤醒select()
    Packet packet = queuePacket(h, r, request, response, null, null, null, watchRegistration);
    // 典型的线程同步操作
    synchronized (packet) {
        while (!packet.finished) {
            packet.wait();
        }
    }
    return r;
}

类似于线程池的设计，任务的提交和处理分开实现，或者称之为生产者消费者的调度。具体的消费、通信实现，参考SendThread 的run方法。

3.SendThread 分析

• 初始条件，sockKey 是null，触发startConnect()，典型的nio初始化操作

// 初始化SocketChannel
SocketChannel sock = SocketChannel.open();
sock.configureBlocking(false);
sock.socket().setSoLinger(false, -1);
sock.socket().setTcpNoDelay(true);
// 注册至selector
sockKey = sock.register(selector, SelectionKey.OP_CONNECT);
// 发起连接操作
conReq.serialize(boa, "connect");

• doIO方法 完成服务器读写的调度
• readResponse方法 完成协议解析，回填response
• finally， packet.notify，至此，通信完成

// 收尾，线程同步完成
private void finishPacket(Packet p) {
    if (p.watchRegistration != null) {
        p.watchRegistration.register(p.replyHeader.getErr());
    }
    // 如果没有callback,则直接notify，否则加入事件队列，EventThread负责调度
    if (p.cb == null) {
        synchronized (p) {
            p.finished = true;
            p.notifyAll();
        }
    } else {
        p.finished = true;
        eventThread.queuePacket(p);
    }
}