memcached通讯机制

accept/dispatch：

 

        memcached使用"主线程统一accept/dispatch子线程"网络模型处理客户端的连接和通信，也就是《UNIX网络编程 卷1 第三版》第30章里面的第8个模型。

        "主线程统一accept/dispatch子线程"的基础设施：主线程创建多个子线程(这些子线程也称为worker线程)，每一个线程都维持自己的事件循环，即每个线程都有自己的epoll，并且都会调用epoll_wait函数进入事件监听状态。每一个worker线程(子线程)和主线程之间都用一条管道相互通信。每一个子线程都监听自己对应那条管道的读端。当主线程想和某一个worker线程进行通信，直接往对应的那条管道写入数据即可。

        "主线程统一accept/dispatch子线程"模型的工作流程：主线程负责监听进程对外的TCP监听端口。当客户端申请连接connect到进程的时候，主线程负责接收accept客户端的连接请求。然后主线程选择其中一个worker线程，把客户端fd通过对应的管道传给worker线程。worker线程得到客户端的fd后负责和这个客户端进行一切的通信。

 

        "主线程统一accept/dispatch子线程"模型的工作示意图如下图所示：

        

 

 

        memcached里面的"主线程统一accept/dispatch子线程"和上面所说的差不多，区别在于：1. memcached使用libevent作为进行事件监听；2.memcached往管道里面写的内容不是fd，而是一个简单的字符。每一个worker线程都维护一个CQ队列，主线程把fd和一些信息写入一个CQ_ITEM里面，然后主线程往worker线程的CQ队列里面push这个CQ_ITEM。接着主线程使用管道通知worker线程:“我已经发了一个新客户给你，你去处理吧”。

        memcached的"主线程统一accept/dispatch子线程"如下面这幅经典的图所示：

        

 

1.  网络模型流程分析
Memcached主要是基于Libevent的事件库来实现网络线程模型的。我们先需要下载memcached的源码包，上面我们已经给出了源码包下载地址。
Memcached的网络线程模型主要涉及两个主要文件：memcached.c 和thread.c文件。
我们这边主要分析tcp的模型。memcached也支持udp。
流程
1. memcached首先在主线程中会创建main_base，memcached的主线程的主要工作就是监听和接收listen和accpet新进入的连接。
2. 当memcached启动的时候会初始化N个worker thread工作线程，每个工作线程都会有自己的LIBEVENT_THREAD数据结构来存储线程的信息（线程基本信息、线程队列、pipe信息）。worker thread工作线程和main thread主线程之间主要通过pipe来进行通信。
3. 当用户有连接进来的时候，main thread主线程会通过求余的方式选择一个worker thread工作线程。
4. main thread会将当前用户的连接信息放入一个CQ_ITEM，并且将CQ_ITEM放入这个线程的conn_queue处理队列，然后主线程会通过写入pipe的方式来通知worker thread工作线程。
5. 当工作线程得到主线程main thread的通知后，就会去自己的conn_queue队列中取得一条连接信息进行处理，创建libevent的socket读写事件。
6. 工作线程会监听用户的socket，如果用户有消息传递过来，则会进行消息解析和处理，返回相应的结果。
流程图

参考：http://blog.csdn.net/woofilian/article/details/52193458

http://blog.csdn.net/qq_15457239/article/details/48490271

 

转载于:https://my.oschina.net/u/945874/blog/910995