【ceph】AsyncMessenger模块源码分析03消息的发送和接收

bdview

于 2022-07-22 19:15:00 发布

阅读量302

点赞数

文章标签： java 服务器网络运维 linux

本文链接：https://blog.csdn.net/weixin_42319496/article/details/125940720

版权

原文：Ceph网络模块(3)——AsyncMessenger代码流程分析_Hequan的专栏-CSDN博客去给大神点个赞

1、消息模块的生命周期

消息模块的生命周期

如图所示以OSD为例描述了消息模块的生命周期。

本文如果没有特殊说明均指的是OSD守护进程。

在main()函数中首先创建一个Messenger，然后对注册的Messenger进行bind，绑定后start消息模块进行工作，消息模块start后init OSD。

在OSD的初始化中让Messenger处于ready状态，即准备工作状态。当消息模块工作结束后处于wait状态，如果需要的话则删除注册的Messenger。这就是消息模块大致的生命周期，下面详细描述一下每个过程的操作。

不同的角色会启动相应的守护进程，如果OSD，则通过 ceph_osd.cc这个文件来启动守护进程，首先进入的是main()函数；

在main()函数中注册了6个Messenger的实例，如下表所示。

编号   Messenger实例名称   作用
1   *ms_public   用来处理OSD和Client之间的消息
2   *ms_cluster   用来处理OSD和集群之间的消息
3   *ms_hbclient   用来处理OSD和其它OSD保持心跳的消息
4   *ms_hb_back_server   用来处理OSD接收心跳消息
5   *ms_hb_front_server   用来处理OSD发送心跳消息
6   *ms_objecter   用来处理OSD和Objecter之间的消息

Messenger是一个接口类，根据不同的需求对其进行实现，async就是AsyncMessenger。
初始化消息模块后进行绑定。具体执行绑定的是调用AsyncMessenger的bind函数()，调用的参数是配置文件中的g_conf->public_addr和g_conf->cluster_addr等。

AsyncMessenger的bind()函数执行的是Processor::bind()。在Processor的bind函数中真正完成了绑定，Processor的bind函数有两个参数，一个是addr，另一个是port。

在Processor的bind函数中主要进行的操作有：
1) 根据bind_addr得出socket的参数family；
2) 创建socket，family参数根据步骤1)获取；
3) 将socket设置为非阻塞；
4) 绑定需要监听的端口；
5) 获取绑定的socket的name；
6) 监听端口。

开启消息模块。在步骤2中create了Messenger(AsyncMessenger)，还需要开启它的服务来工作，AsyncMessnger在start函数中调用WorkPool的start来具体执行AsyncMessenger的开启工作。

启动OSD，在这个之前有一个pre启动(int err = osd->pre_init())，在这个后面还有一个final启动(osd->final_init();)。执行OSD启动的是osd.cc文件中的init函数，调用Messenger的add_dispatcher_head()函数将响应的消息的分拣器实例(dispatchers)加入到dispatchers的链表中。

在add_dispatcher_head()函数中如果是链表中的第一个元素，则执行ready函数。ready函数的具体执行是由AsyncMessenger的ready来实现，通过WorkerPool来获取worker，然后启动事件处理中心来处理事件。启动worker线程，并通知事件处理中心可以开始工作了，主要是事件的create和处理。

这个时候AsyncMessenger的机制已经基本全部启动完成，可以进行正常的工作。

Messenger进入wait状态，等待stop条件变量，一但stop添加变量满足，就完成清理工作，关闭所有的连接。执行完wait操作后，删除之前创建的Messenger。