zookeeper-c-client 客户端代码走读

最新推荐文章于 2024-08-20 09:40:02 发布

wzb56

最新推荐文章于 2024-08-20 09:40:02 发布

阅读量3.8k

点赞数 1

分类专栏： zookeeper

zookeeper 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

由于我们公司主要使用的C语言客户端，并且由于业务需要和稳定性需要，对于zk服务增加了基于taas（内部认证系统）的认证和quota管理，所以代码修改了握手时候的协议，不过大体还是和原先相同的。

主要数据结构

有zhandle，adaptor_thread和completion_list_t，分别代表zk的一些全局共享信息，线程控制信息和回调watcher信息。各个struct的主要内容如下：

 
 struct zhandle { 
     int fd;             // socket fd
     sockaddr_storage *addrs; // zk server ip地址列表
     watcher_fn watcher; // Global watcher
     buffer_list_t *input_buffer;// 接收缓存
     buffer_head_t to_process; // IO接收数据队列
     buffer_head_t to_send; // IO发送队列 
     completion_head_t sent_request; // 未处理请求队列，已发送而为返回的request队列，包含了回调和watcher。
     completion_head_t completions_to_process; // 正在处理的watcher和回调
     clientid_t;            // session id和zk server返回的passwd，用于恢复session
     buffer_list primer_buffer; // 和服务器的握手包缓存
     buffer_list primer_storage;// 服务器握手包接收缓存
     void* context;         // watcher的参数
 
     zh_hashtable* active_node_watchers; // 激活的watcher列表
     zh_hashtable* active_exist_watchers;
     zh_hashtable* active_child_watchers;
 
     common::CredentialGenerator* generator;// 用于认证客户端身份
 }
 
 struct adaptor_threads {
      pthread_t io; // IO线程
      pthread_t completion;    // event现场
      int threadsToWait; // 线程等待barrier
      pthread_cond_t cond; // 条件变量
      pthread_mutex_t lock; // ... and a lock
      pthread_mutex_t zh_lock; // critical section lock
      int self_pipe[2];
 }
 
 typedef struct _completion_list {
     int xid; // 网络序列号
     int completion_type; // 回调类型
     union {        // 回调的函数指针
         void_completion_t void_result;
         stat_completion_t stat_result;
         data_completion_t data_result;
         strings_completion_t strings_result;
         strings_stat_completion_t strings_stat_result;
         acl_completion_t acl_result;
         string_completion_t string_result;
         struct watcher_object_list*watcher_result;
     } c;
     const void *data; // 回调函数的参数
     buffer_list_t *buffer; // watcherEvent的序列化结果,用于event线程执行watcher函数。
     struct _completion_list *next;
     watcher_registration_t* watcher; // wacher函数相关
 } completion_list_t; 

线程模型：

zk c客户端每一个zhandle创建两个线程，IO线程(do_io)负责连接zk server以及收发包，competion线程(do_competion)处理异步回调函数和watcher调用。

IO线程发送to_send队列数据，接收服务器返回数据至to_process，并根据收到的回复把sent_request队列中的回调和watcher挪到completion_to_process队列。

用户线程通过客户端接口把请求Request插入to_send队列，把回调和watcher写入sent_request

competion线程调用completion_to_process队列中的回调和watcher。

状态转换：

①若从连接状态发送to_send失败返回connect loss错误。若2/3个timeout没有收到任何包，则返回connect timeout。

这两种情况都会执行sent_request(pengding request)的同步和异步调用，并设置error code为相应值。

主要流程：

用户在操作zk znode之前，需要调用zookeeper_init初始化一个zhandle，之后在每个方法调用中传入这个handle。

以get为例说明主要流程:

1.调用zoo_get方法把回调和watcher写入send_request队列。如果是同步则写入一个标记SYNCHRONOUS_MARKER。（add_data_completion）

2.序列化request，加入到to_send队列。

3.通过往pipe的fd写操作唤醒IO线程发送数据。

4.如果是异步则结束，如果是同步等待处理结束。

IO线程步骤：

1.挑选一个ip连接zk server并发送ConnectRequest(握手包，用于创建session)，如果已经连接，则在1/3超时时发送ping。(zookeeper_interest)

2.发送to_send队列，接收服务器消息到to_process队列，更新最后收发包时间。(check_events)

3.如果是异步操作和watcher，则把sent_request队列中的回调和watcher移到completion_to_process队列。结束。(zookeeper_process)

4.如果是同步操作根据to_process队列操作唤醒用户线程。

Completion线程

1.若completion_to_process队列为空则等待。

2.调用队列中的回调函数和watcher。

zookeeper c客户端bug修复

1.fd泄露的bug

zookeeper.cc的zookeeper_process方法在收到乱序回应时，断掉连接重连时，没有减少zhandle的引用计数，这时zookeeper_close只会停止线程而不会释放zhandle的资源。

只有当引用计数为0时，才回destroy整个handle，造成了fd泄露的问题。

 
 if (cptr->xid!= hdr.xid) { 
     LOG_DEBUG(("Processing unexpected or out-of-order response!"));
 
     // received unexpected (or out-of-order) response
     close_buffer_iarchive(&ia);
     free_buffer(bptr);
     // put the completion back on the queue (so it gets properly
     // signaled and deallocated) and disconnect from the server
     queue_completion(&zh->sent_requests,cptr,1);
     return api_epilog(zh, handle_socket_error_msg(zh, __LINE__,ZRUNTIMEINCONSISTENCY,
               "unexpected server response: expected %#x, but received %#x",
                hdr.xid,cptr->xid));
  } 