【ceph】AsyncMessenger 通信模块基础--编辑中

ceph网络通信三种实现方式

ceph的网络通信的源码在src/msg下，有Ceph Messager的三个实现：simple，async，xio。

simple模式:2021：基本不用了，不建议看了）

simple模式相对比较简单，一个链接的每一端都有两个线程，分别负责读和写，当集群规模很大的时候，会有大量线程，占用大量资源，限制了网络性能。（SimpleMessenger是网络层最早的实现，当时的网络编程模型还是线程当道，因此simple采用的就是这种简单粗暴的线程模型）

async模式:2021：当前主要模式）

async模式基于Epoll + EventCenter，这也是当前的默认消息机制。（async主要是国内ceph大神麦子迈 王豪迈大神的实现的。随着linux提供epoll这样的系统调用，可以提供基于事件的IO多路服用，越来越多的网络开始使用该系统调用来实现高并发通信。比如libevent。async也是如此。）

xio模式（2021：不太了解）

xio模式基于开源网络通信库accelio来实现，目前处于试验阶段。(xio使用了开源网络通信模块accelio，需要依赖第三方的库，目前也在实验阶段。)

从Messenger.cc 这个类中可以看出在create Messager实例的时候根据type选择网络框架是simple/async/xio.其中选择xio的话需要的话需要定义HAVE_XIO 这个宏，并且xio支持tcp/ip。infiniband 这两种协议，而前两种支持tcp/ip 协议。

AsyncMessenger

相关的类

message数据格式

见：https://blog.csdn.net/bandaoyu/article/details/121315682

Messenger实例名称

在main()函数中首先创建Messenger，然后对注册的Messenger进行bind，绑定后start消息模块进行工作，不同的角色会启动相应的守护进程，如果OSD在main()函数中注册了6个Messenger的实例，如下表所示。

编号    Messenger实例名称    作用
1    *ms_public    用来处理OSD和Client之间的消息
2    *ms_cluster    用来处理OSD和集群之间的消息
3    *ms_hbclient    用来处理OSD和其它OSD保持心跳的消息
4    *ms_hb_back_server    用来处理OSD接收心跳消息
5    *ms_hb_front_server    用来处理OSD发送心跳消息
6    *ms_objecter    用来处理OSD和Objecter之间的消息

EventCenter

worker 线程 while循环，执行EventCenter::process_events。

这里事件有三类：

time_events：定时事件，比如connection的定时函数AsyncConnection::tick。
external_events：外部事件，放进去里面立马唤醒线程执行，send_message就是外部事件。

file事件：epoll监听的事件，与文件（如socket连接fd）绑定，当fd可读or可写时执行。

例子如下：

time_events：定时事件，比如connection的定时函数AsyncConnection::tick。

register_time_events.insert(center->create_time_event(delay_period*1000000, this));

external_events：外部事件，放进去里面立马唤醒线程执行，send_message就是外部事件。

Messenger::send_message(Message *m, dest)
AsyncMessenger::send_message(Message *m, dest)
--|AsyncMessenger::_send_message(Message *m, dest)
----|conn=_lookup_conn(dest.addr)  
----|AsyncMessenger::submit_message(Message *m,conn,dest,...)
------|conn->send_message(m) # AsyncConnection::send_message(Message *m)
--------|out_q[priority].emplace_back(std::move(bl),m)  #放入队列

//回调操作(write_handler= new C_handle_write(this))放入event中心，wakeup线程执行
--------|EventCenter::dispatch_event_external(write_handler) 
----------|external_event.push_back(write_handler) //放入事件中，就可以唤醒线程去执行
----------|wakeup()
            |
            |
 w->center.process_events
             |
         cb = event->read_cb;
         cb->do_request()
             |C_handle_write
             |
             |
--|write_handler = new C_handle_write(this)

file事件：epoll监听的事件，与文件（如socket连接fd）绑定，当fd可读or可写时执行，如

int r = create_file_event(notify_receive_fd, EVENT_READABLE, notify_handler);

notify_receive_fd可读时，process_events将执行回调notify_handler

http://t.csdn.cn/l41qs