zeromq源码框架解析

已于 2023-07-10 09:05:31 修改
阅读量654 收藏
点赞数
分类专栏： zeromq 文章标签： zeromq c++
于 2023-06-24 17:45:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiexingshishu/article/details/131364102
版权

基础组件

i_poll_events

事件接口，处理网络读写事件以及定时器事件

«interface»
i_poll_events
+void in_event()
+void out_event()
+void timer_event(int id_)

i_pipe_events

管道事件

«interface»
i_pipe_events
+void read_activated(pipe_t *pipe_)
+void write_activated(pipe_t *pipe_)
+void hiccuped(pipe_t *pipe_)
+void pipe_terminated(pipe_t *pipe_)

read_activated：激活读操作
write_activated：激活写操作
hiccuped：暂时停顿，通过从session到socket_base
pipe_terminated ：管道结束

io_object_t

可以获取io_thread_t的poller，用于监听句柄的读写以及异常状态
io_object_t
- poller_t* _poller
+void plug(io_thread_t *io_thread_)
+unplug()
i_poll_events

plug方法是获取io_thread的poll
unplug是将poll设置为NULL

poller_t

是不同平台事件驱动的别名，如epoll_t，select_t， pollset_t，poll_t，kqueue_t以及devpoll_t。以epoll_t为例。
其类层次结构为
poller_base_t
- timers_t _timers
- atomic_counter_t _load
- clock_t _clock
+void add_timer(int timeout_, i_poll_events *sink_, int id_)
+void cancel_timer(i_poll_events *sink_, int id_)
worker_poller_base_t
- const thread_ctx_t &_ctx
- thread_t _worker
+void loop()
epoll_t

poller_base_t：主要是管理定时器相关的操作
worker_poller_base_t：单线程poller的基类

object_t

用于线程间的命令发送和接收处理的模板基类
process_command：用于处理命令的模板方法，根据命令类型调用对应的命令处理函数process_xxx。
send_xxx：用于发送命令，最终会调用send_command

own_t

_owner：表示拥有此对象的socket_base_t
_owned：表示socket_base_t拥有的所有对象，socket_base_t也继承了own_t
其中处理命令term_req和term，用于在_owned中的动态分配的对象的释放
own_t
own_t *_owner
owned_t _owned
object_t

mailbox

mailbox的事件是io_thread,用于线程间通过管道来通信
«interface»
i_mailbox
void send(const command_t &cmd_)
int recv(command_t *cmd_, int timeout_)
mailbox_t
mailbox_safe_t

ypipe_base_t

用于线程间通信
«interface»
ypipe_base_t<T>
void write(const T &value_, bool incomplete_)
bool unwrite(T *value_)
bool flush()
bool check_read()
bool read(T *value_)
bool probe(bool (*fn_)
ypipe_conflate_t<T>
ypipe_t<T>

i_engine

io线程内用于读写网络数据
«interface»
i_engine
bool has_handshake_stage()
void plug(io_thread_t *io_thread_, session_base_t *session_)
void terminate()
bool restart_input()
void restart_output()
void zap_msg_available()
const endpoint_uri_pair_t &get_endpoint()
«interface»
i_encoder
«interface»
i_decoder
stream_engine_base_t
udp_engine_t
ws_engine_t
wss_engine_t
zmtp_engine_t
raw_engine_t
norm_engine_t
pgm_receiver_t
pgm_sender_t

stream_engine_base_t：用于socket_stream,如tcp和unix socket的基类
udp_engine_t：用于udp
ws_engine_t/wss_engine_t：用于web socket
zmtp_engine_t：用于处理协议zmtp
raw_engine_t：没有handshake
norm_engine_t：用于NACK-Oriented Reliable Multicast (NORM)传输协议
pgm_receiver_t：用于PGM套接字接收端
pgm_sender_t：用于PGM套接字发送端

i_encoder/i_decoder

用于数据的编解码
«interface»
i_encoder
size_t encode(unsigned char **data_, size_t size_)
void load_msg(msg_t *msg_)
«interface»
i_decoder
void get_buffer(unsigned char **data_, size_t *size_)
void resize_buffer(size_t)
int decode(const unsigned char *data_, size_t size_, size_t &processed_)
msg_t *msg()
encoder_base_t<T>
-msg_t *_in_progress
-unsigned char *const _buf
-const size_t _buf_size
-bool _new_msg_flag
-step_t _next
-size_t _to_write
-unsigned char *_write_pos
+void next_step(void *write_pos_, size_t to_write_, step_t next_, bool new_msg_flag_)
raw_encoder_t
v1_encoder_t
v2_encoder_t
v3_1_encoder_t
ws_encoder_t
decoder_base_t<T>
raw_decoder_t
v2_decoder_t
ws_decoder_t
v1_decoder_t

encoder_base_t：给编码提供了一个处理框架 ，通过实现了填充输出缓冲区的状态机。_in_progress表示正在处理的消息数据
_buf编码时用于存储编码后的数据，在encode传的参数*data_为NULL时，会使用_buf
_buf_size用于指定_buf缓存的大小
_new_msg_flag标识是否是新消息
_next下一步的状态机
_to_write下一步状态机执行前需要写的数据剩余大小
_write_pos表示数据源
next_step用于设置下一步状态机的数据源，数据大小，以及是否是新消息

session_base_t

管理zmq_socket的连接和通信，主要与engine进行交换数据
session_base_t
own_t
io_object_t
«interface»
i_pipe_events
req_session_t
radio_session_t
dish_session_t
hello_msg_session_t

socket_base_t

zeromq的socket，在zmq中，被当成一种特殊的”线程“，具有收发命令的功能
own_t
array_item_t
«interface»
i_poll_events
«interface»
i_pipe_events
socket_base_t
pair_t
xpub_t
pub_t
xsub_t
sub_t
dealer_t
req_t
routing_socket_base_t
router_t
rep_t
pull_t
push_t
stream_t
server_t
client_t
radio_t
dish_t
gather_t
scatter_t
dgram_t
peer_t
channel_t

engine的处理过程

以stream_engine_base_t为例，其构建了处理tcp发送和接收数据处理的框架
其中编解码器以及_process_msg由子类来指定

接收数据处理

stream_engine_base_t i_decoder session_base_t in_event in_event_internal get_buffer read resize_buffer opt [_insize = 0] decode msg _process_msg loop [_insize > 0] flush stream_engine_base_t i_decoder session_base_t

发送数据处理

stream_engine_base_t i_encoder out_event encode _next_msg load_msg encode loop [_outsize < out_batch_size] opt [_outsize = 0] write stream_engine_base_t i_encoder

编码处理

在编码过程中，如果需要写入的数据大小为0，则进入下一阶段，即_next

encoder_base_t encode _next opt [_to_write = 0] loop [pos < buffersize] encoder_base_t

解码处理

如果解码时数据开始位置为data,则调用_next直到读完

decoder_base_t decode next loop [_to_read = 0] opt [data_ = _read_pos] next loop [_to_read = 0] loop [bytes_use- d_ < size_] decoder_base_t

组件关系

在这里插入图片描述

tcp发起连接

User ctx_t reaper_t io_thread_t socket_base_t session_base_t tcp_connecter_t stream_engine_base_t zmq_ctx_new new return ctx zmq_socket create_socket new start new start new return socket_base return socket_base zmq_connect connect create return session launch_child(session) send_plug(session) process_plug new return tcp_connecter_t launch_child(connecter) send_plug(connecter) process_plug start_connecting add_fd out_event new return engine send_attach (_session, engine) process_attach plug add_fd(fd) send_term_req(session, tcp_connector) process_term_req send_term(tcp_connector) process_term User ctx_t reaper_t io_thread_t socket_base_t session_base_t tcp_connecter_t stream_engine_base_t

session和socket_base管道建立

session_base_t zmq pipe_t io_thread_t socket_base_t socket_base_t子类 engine_ready pipepair new创建pipe0 返回pipe0 new创建pipe1 返回pipe1 set_peer设置pipe0的对端为pipe1 set_peer设置pipe1的对端为pipe0 return 0 set_event_sink(session) send_bind(socket_base, pipe1) process_bind attach_pipe set_event_sink(socket_base) xattach_pipe session_base_t zmq pipe_t io_thread_t socket_base_t socket_base_t子类

session和socket_base管道通知读写

通知读

User socket_base_t socket_base_t子类 pipe_t io_thread_t session_base_t i_engine_t send xsend write flush send_activate_read(session对应的pipe) process_command process_activate_read,其中pipe_t为session对应的pipe read_activated restart_output User socket_base_t socket_base_t子类 pipe_t io_thread_t session_base_t i_engine_t

通知写

User socket_base_t socket_base_t子类 pipe_t io_thread_t session_base_t i_engine_t recv xrecv read send_activate_write(session对应的pipe) process_command process_activate_write,其中pipe_t为session对应的pipe write_activated restart_input User socket_base_t socket_base_t子类 pipe_t io_thread_t session_base_t i_engine_t
kgduu
关注
专栏目录
zeromq源码解析
mojianc的专栏
09-07 683
zeromq源码解析 zmq是一款异步的高性能的消息队列中间件，有多种语言版本，目前本人看的是基于C++的版本，在研读zmq代码过程中由于大量的异步设计，使得代码的阅读性较低，所以将梳理的代码历程记录于此。 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编
Zeromq 源码全解析(3)
不积跬步无以至千里
02-09 629
ZMQ任务分发设计 经典的线程池 经典的线程池多数是抢占式 在主线程上有个任务池,当有任务进入时,唤醒一个线程进行任务执行,以下是一个简单线程池的代码 //首先是一个线程数据,用来控制线程的 struct threadData { std::mutex mtx_; //互斥量 std::condition_variable co...
zeromq源代码分析1------基本工作流程分析
热门推荐
kaka11的专栏
07-19 2万+
zeromq源代码分析1------基本工作流程分析
Zeromq 源码全解析(1)
不积跬步无以至千里
01-13 964
全解析日记: https://www.processon.com/view/link/5e1b0b63e4b0f5a7ed0c7f0c 以上为大致类的继承结构,可以很明显的看出,虽然类复杂并繁多,但是类之间还是有较清晰的区分, 从局部入手,逐层分析,再看整体设计 ...
Zeromq 源码全解析(4)
木牛的博客
06-16 441
\libzmq\src\yqueue.hpp怎么优化内存分配,先了解以下内存分配开销流程,分配内存这个操作,在c++使用new,delete关键字,c中使用malloc, free组合关键组,通过传入大小来申请一段连续的内存,当然这里的连续指的是逻辑连续,在物理上不一定是连续的,但是操作系统会帮我们屏蔽掉这些细节,分配给我们一块内存. 所以可以得出内存分配行为是需要一些消耗的. 所以,通常的内存分配优化方案为为,先分配一块大内存,再通过自己维护内存使用来进行内存的优化,zmq大致也是这么做的 以chun
zeromq 无锁队列源码解析
木牛的博客
06-16 554
在我刚学无锁队列的时候，在网上找了很多资料，但基本都是一上来就开始讲无锁队列的实现，这让我很困惑，到底什么是无锁队列呢，设计这玩意的意图是什么？接下来我将给大家好好分析一下无锁队列。无锁队列顾名思义，就是无锁+队列，队列有以下几种操作模型：（1）单生产者单消费者（2）多生产者单消费者（3）单生产者多消费者（4）多生产者多消费者 在我们实现生产者消费者模式的时候需要用到锁，来保证线程间的同步以及互斥 互斥：访问共享的队列的时候需要加锁 同步：（1）队列为空而消费者线程需要读取数据，此时应该阻塞消费者线程 （2
ZEROmq实例
07-15
"ZEROmq实例" 这个标题表明我们关注的是ZeroMQ技术的一个具体应用实例，ZeroMQ是一个开源的消息中间件，它提供了一种高效、灵活的框架来处理分布式系统中的消息传递。 **描述解析：** 描述提到“简单的zeromq的...
zeromq 代理模式的一些问题
03-31
zeromq，也被称为0MQ或ZeroMQ，是一款开源的消息队列系统，它提供了一种高效、灵活且可扩展的网络通信框架。标题提到的“zeromq 代理模式的一些问题”主要涉及到zeromq在代理（Proxy）模式下的工作原理、常见问题...
Nanomsg 代码分析.docx
01-01
它是 zeromq 作者 Martin Sustrik 用 C 重写的一套具有可扩展协议的一套通信框架，nanomsg 的初衷是因为 zeromq 已经足够快，但当面对一些变态的需求时，例如同时处理超过 1 亿的请求时， zeromq 的内存存储优化不够...
java8集合源码分析-notes:读书笔记
06-04
集合源码分析 项目地址 #目录 自己做过的消息组件 [自己实现simple RPC](#自己实现simple RPC) [JDK NIO/BIO](#JDK NIOBIO) [JVM SandBox](#JVM SandBox) [PL/SQL Developer](#PLSQL Developer) [Micronaut ...
zeromq-4.2.0.tar.gz源码包
12-18
在官网下载zeromq太慢了，网速极不稳定，特意下载放在这里供大家下载，当然象征性地赚点 资源分
c#使用ZeroMQ源码
12-18
用c#语言使用ZeroMQ，包括完整的源码，完整的示例源码。
zeromq源码分析笔记之架构（1）
weixin_30316097的博客
01-13 315
1、zmq概述 ZeroMQ是一种基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象，提供跨越多种传输协议的套接字。引用云风的话来说:ZeroMQ 并不是一个对 socket 的封装，不能用它去实现已有的网络协议。它有自己的模式，不同于更底层的点对点通讯模式。它有比 tcp 协议更高一级的协议。（当然 ZeroMQ 不一定基于 TCP 协议，它也可以用于进程间和...
ZeroMQ-0.1.1源码分析
azurelaker的博客
08-19 1259
ZeroMQ是一个分布式消息处理架构,是由C++语言实现的,其底层传输协议支持TCP, UDP,多播, POSIX IPC等实现.在后续的开发中,陆续实现了以C, Java, PHP, Python等语言实现的版本,但是非C++的实现版本中,底层传输协议支持的比较有限,但基本上均支持TCP协议.以C++实现的ZeroMQ分布式消息引擎的github源码工程请参考:https://github.co...
ZeroMQ源码分析笔记之架构
木牛的博客
06-16 492
ZeroMQ是一种基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象。提供跨越多种传输协议的套接字。引用云风的话来说：ZeroMQ并不是对一个socket的封装，不能用它去实现已有的网络协议。它不同于更底层的点对点通讯模式，它有自己的模式。有比tcp更高一级的协议。ZeroMQ并不一定基于tcp协议，也可以用于进程间和进程内通讯。它改变了通讯都基于一对一的连接的假设。 ZeroMQ支持4种通讯模型 1）一对一结对通讯 用于支持传统的TCP Socket模型，但并不推荐使用
zeromq源代码分析6-2------REQ和REP
kaka11的专栏
07-22 1万+
本文我们讲一下req和rep这对zeromq的socket。这是一个经典的Request-Reply的例子。
ZeroMQ源码分析笔记之线程间收发命令
locahuang的博客
04-23 475
一、概述 从ZeroMQ源码分析笔记之架构了解到，线程间通信包括两类： 1） 一类用于收发命令，告知对象调用什么方法做什么事情，命令结构由command_t 结构体确定。 2）socket_base_t 实例与session的消息通信，消息结构由msg_t确定。 命令的发送与存储是通过mailbox_t实现的，消息的发送和存储是通过pipe_t实现。 ZeroMQ线程可以分为两类：IO线程 和 zmq的socket。 1）IO线程：像reaper_t、io_thread_t都属于这一类，特点：内含一..
zeroMq源码分析
最新发布
10-17
ZeroMQ 是一个高性能、异步的消息传递库，它提供了多种消息传递模式，包括请求-应答、发布-订阅、推送-拉取等。ZeroMQ 的源码分析需要涉及到网络编程、多线程编程、操作系统底层等多个方面的知识。 ZeroMQ 的源码分析可以从以下几个方面入手： 1. ZeroMQ 的消息传递模型：ZeroMQ 提供了多种消息传递模式，每种模式都有不同的实现方式。可以从消息传递模型的角度来分析 ZeroMQ 的源码。 2. ZeroMQ 的网络通信：ZeroMQ 的消息传递是基于网络通信实现的，因此需要了解网络编程相关的知识，如 TCP/IP 协议、套接字编程等。 3. ZeroMQ 的多线程编程：ZeroMQ 的消息传递是异步的，因此需要使用多线程来实现。需要了解多线程编程相关的知识，如线程同步、线程通信等。 4. ZeroMQ 的底层实现：ZeroMQ 的底层实现涉及到操作系统底层的知识，如文件描述符、事件驱动等。 以上是 ZeroMQ 源码分析的一些方面，具体分析需要根据具体情况来确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kgduu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值