Linux下使用ZMQ实践之监控事件

最新推荐文章于 2024-05-09 09:46:06 发布
最新推荐文章于 2024-05-09 09:46:06 发布
阅读量2k 收藏 6
点赞数 1
分类专栏： linux socket 文章标签： zmq zeromq monitor ZMQ_PAIR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stayneckwind2/article/details/93670375
版权
linux 同时被 2 个专栏收录
53 篇文章 8 订阅
订阅专栏
socket
13 篇文章 0 订阅
订阅专栏

1. 前言

继续《Linux下使用ZMQ实践“生产者-消费者”模型》 文章之后进一步思考：
ZeroMQ通过隐藏了基础的socket操作，达到调用简明易懂的层次；
那么，如果某些场景下，又需要考虑到连接状态的维护，应该如何操作？
ZeroMQ给出的解决方案就是zmq_socket_monitor

2. 相关知识

支持监控的事件：

事件描述
ZMQ_EVENT_CONNECTEDsocket已被成功连接
ZMQ_EVENT_CONNECT_DELAYED连接动作被挂起
ZMQ_EVENT_CONNECT_RETRIED连接失败，正在重试
ZMQ_EVENT_LISTENING监听成功
ZMQ_EVENT_BIND_FAILED绑定失败
ZMQ_EVENT_ACCEPTED接受新连接
ZMQ_EVENT_ACCEPT_FAILED接受新连接失败
ZMQ_EVENT_CLOSEDsocket关闭（主动关闭）
ZMQ_EVENT_CLOSE_FAILEDsocket关闭失败
ZMQ_EVENT_DISCONNECTED连接意外关闭（被关闭）
ZMQ_EVENT_MONITOR_STOPPED监控的socket消亡

使用思路：将要监听的sock跟monitor关联，然后创建一个额外的ZMQ_PAIR，通过pair来获取sock上的事件。

3.场景举例

根据之前的“生产者-消费者”模型的一个改进：

  • 已知固定的消费者个数，如4个；
  • 生产者等待4个消费者全部启动后，才开始发送消息；
  • 生产者发送退出消息，等待消费者断开连接后才最后退出；

在之前一对多的 Push-Pull 模式下，如果没有消费者连接，则生产者数据发送会一直阻塞，但如果有至少一个连接成功，则生产者进入发送数据阶段；在改进场景中，需求所有消费者就绪后，生产者才正式开始发送数据，达到一个理想的均衡状态。

这样，我们就依赖monitor机制的实现，监听消费者的Push套件，额外增加一个监听器monitor：

#define ADDR "tcp://127.0.0.1:555"
#define MONITOR "inproc://monitor-server"
	...
	void *sock = zmq_socket(ctx, ZMQ_PUSH);
    void *mon  = zmq_socket(ctx, ZMQ_PAIR);
	...
    zmq_bind(sock, ADDR);
    zmq_socket_monitor(sock, MONITOR, ZMQ_EVENT_ALL);
    zmq_connect(mon, MONITOR);
    ...

下来，我们通过monitor等待4个消费者的连接事件，成功后才发送数据；
发送数据完成后，我们通过发送“Quit”报文来通知消费者退出进程；
完整的生产者代码如下：

void test_producer(void *ctx, int times)
{
    int ix = 0, cnt = 0, id = 0, event = 0;
    char request[1024];

    void *sock = zmq_socket(ctx, ZMQ_PUSH);
    void *mon  = zmq_socket(ctx, ZMQ_PAIR);

    s_set_id_num(sock, id);
    zmq_bind(sock, ADDR);
    zmq_socket_monitor(sock, MONITOR, ZMQ_EVENT_ALL);
    zmq_connect(mon, MONITOR);

    LOGN("Producer %d setup\n", id);
    for (cnt = 0; cnt < 4;) {
        event = get_monitor_event(mon, NULL, NULL);
        if (event == ZMQ_EVENT_ACCEPTED) {
            LOGN("Producer accepted\n");
            cnt++;
        }
    }

    LOGN("Producer %d start\n", id);
    for (ix = 0; ix < times; ix++) {
        snprintf(request, sizeof(request), "Data-%03d-%03d", id, ix);
        s_send(sock, request);
        LOGN("Producer %d send: %s\n", id, request);
        usleep(100 * 1000);
    }

    for (cnt = 0; cnt < 4;) {
        s_send(sock, "Quit"); // 通知一个消费者，退出一个消费者
        event = get_monitor_event(mon, NULL, NULL);
        if (event == ZMQ_EVENT_DISCONNECTED) {
            cnt++;
        }
    }

    LOGN("Producer %d stop\n", id);
    zmq_close(sock);
}

获取监听事件的接口为，get_monitor_event，该函数从ZeroMQ帮助手册摘抄下来：

static int get_monitor_event (void *monitor, int *value, char **address)
{   
    // First frame in message contains event number and value
    zmq_msg_t msg;
    zmq_msg_init (&msg);
    if (zmq_msg_recv (&msg, monitor, 0) == -1)
        return -1; // Interrupted, presumably
    assert (zmq_msg_more (&msg));
    
    uint8_t *data = (uint8_t *) zmq_msg_data (&msg);
    uint16_t event = *(uint16_t *) (data);
    if (value) 
        *value = *(uint32_t *) (data + 2);
    
    // Second frame in message contains event address
    zmq_msg_init (&msg);
    if (zmq_msg_recv (&msg, monitor, 0) == -1)
        return -1; // Interrupted, presumably
    assert (!zmq_msg_more (&msg));
    
    if (address) {
        uint8_t *data = (uint8_t *) zmq_msg_data (&msg);
        size_t size = zmq_msg_size (&msg); 
        *address = (char *) malloc (size + 1);
        memcpy (*address, data, size);
        (*address)[size] = 0;
    }
    return event;
}

然后消费者的实现，跟先前的例子差不多，就多了一个退出的判断：

int test_consumer(void *ctx, int id)
{
    int cnt = 0;
    char request[1024];

    void *sock = zmq_socket(ctx, ZMQ_PULL);

    s_set_id_num(sock, id);
    zmq_connect(sock, ADDR);

    LOGN("Consumer %d start\n", id);
    while (++cnt) {
        s_recv(sock, request);
        LOGN("Consumer %d recv: %s\n", id, request);
        usleep(300 * 1000);

        if (strcmp(request, "Quit") == 0) {
            break;
        }
    }
    LOGN("Consumer %d stop\n", id);
    zmq_close(sock);
}

最后，main函数功能，主要为fork，主进程做生产者，子进程做消费者；
同时，为了方便起见，省略了waitpid回收子进程的动作；


int main(int argc, char *argv[])
{
    int ix = 0;
    void *ctx = zmq_ctx_new();
    srandom(time(NULL));

    /* 1x producter vs 4x consumer */
    for (ix= 1; ix <= 4; ix++) {
        pid_t pid = fork();
        if (pid == 0) {
            test_consumer(ctx, ix);
            goto out;
        }
    }

    test_producer(ctx, atoi(argv[1]));
    // TODO waitpid
out:
    zmq_ctx_destroy(ctx);
    exit(EXIT_SUCCESS);
}

实际运行情况如下：

[ 1561228921.433 ]: Consumer 1 start
[ 1561228921.433 ]: Consumer 2 start
[ 1561228921.434 ]: Consumer 4 start
[ 1561228921.434 ]: Consumer 3 start
[ 1561228921.434 ]: Producer 0 setup
[ 1561228921.435 ]: Producer accepted
[ 1561228921.496 ]: Producer accepted
[ 1561228921.572 ]: Producer accepted
[ 1561228921.572 ]: Producer accepted
[ 1561228921.572 ]: Producer 0 start
[ 1561228921.572 ]: Producer 0 send: Data-000-000
[ 1561228921.574 ]: Consumer 3 recv: Data-000-000
[ 1561228921.673 ]: Producer 0 send: Data-000-001
[ 1561228921.774 ]: Producer 0 send: Data-000-002
[ 1561228921.775 ]: Consumer 2 recv: Data-000-002
[ 1561228921.876 ]: Producer 0 send: Data-000-003
[ 1561228921.877 ]: Consumer 1 recv: Data-000-003
[ 1561228921.978 ]: Producer 0 send: Data-000-004
[ 1561228921.978 ]: Consumer 4 recv: Data-000-004
[ 1561228922.079 ]: Producer 0 send: Data-000-005
[ 1561228922.081 ]: Consumer 3 recv: Data-000-005
[ 1561228922.183 ]: Producer 0 send: Data-000-006
[ 1561228922.284 ]: Producer 0 send: Data-000-007
[ 1561228922.285 ]: Consumer 2 recv: Data-000-007
[ 1561228922.386 ]: Producer 0 send: Data-000-008
[ 1561228922.387 ]: Consumer 1 recv: Data-000-008
[ 1561228922.488 ]: Producer 0 send: Data-000-009
[ 1561228922.488 ]: Consumer 4 recv: Data-000-009
[ 1561228922.590 ]: Consumer 3 recv: Quit
[ 1561228922.892 ]: Consumer 3 stop
[ 1561228922.894 ]: Consumer 2 recv: Quit
[ 1561228923.195 ]: Consumer 2 stop
[ 1561228923.196 ]: Consumer 1 recv: Quit
[ 1561228923.497 ]: Consumer 1 stop
[ 1561228923.499 ]: Consumer 4 recv: Quit
[ 1561228923.800 ]: Consumer 4 stop
[ 1561228923.802 ]: Producer 0 stop

可以看出，程序第一阶段，启动进程；第二阶段，发送数据，负载均衡；第三阶段，回收资源。

4 结论

ZMQ监控事件的方法，提供了一种可选的扩展场景支持，实际使用可以放主线程处理，也可以放独立的子线程处理。

staticnetwind
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux 查看ibm mq队列消息,.NET IBM MQ侦听器未确认的消息并从队列的开头读取
weixin_35880151的博客
05-16 1609
I have a C# application that sets up numerous MQ listeners (multiple threads and potentially multiple servers each with their own listeners). There are some messages that will come off the queue that ...
linux查看rabbitmq运行状态,Linux运维指南Nacos、Rabbit MQ、Redis
weixin_36485103的博客
05-01 5066
Linux运维指南含Nacos、Rabbit MQ、Redis一、Rabbit MQ安装指南1.1安裝Erlang语言因为Rabbit MQ是基于Erlang语言开发的，运行环境必须依赖于Erlang，无论是Windows机器还是Linux机器，安装Rabbit MQ之前第一步要安装Erlang.1.1.1安装Erlang所需依赖进入Linux服务器，创建/u01目录:mkdir /u01进入u0...
重头戏！ZeroMQ的独家对模式详解：ZMQ_PAIR
董哥的黑板报
06-24 5376
一、ØMQ模式总览 ØMQ支持多种模式，具体可以参阅：https://blog.csdn.net/qq_41453285/article/details/106865539 本文介绍ØMQ的独家对模式 二、独家对模式 在前面的文章中我们介绍过如何编写ØMQ多线程程序：https://blog.csdn.net/qq_41453285/article/details/106882216 独家对模式（Exclusive pair）用于将一个对等点精确地连接到另一个对等点。此模式用于跨inproc传输的线
零延迟消息队列（zmq） —— 极速通信的必备工具
gitblog_00065的博客
05-09 415
零延迟消息队列（zmq） —— 极速通信的必备工具 项目地址:https://gitcode.com/JustinTulloss/zeromq.node 项目介绍 零延迟消息队列（简称 zqm 或 ØMQ）是一款专为高效网络通信设计的库，提供了一套简洁且强大的接口，使得 Node.js 开发者可以轻松地实现异步消息传递。这个开源项目由 Justin Tulloss 创建，并已经在 zeromq 官...
跟我一起学习ZeroMQ（10）：Exclusive pair模式——ZMQ_PAIR
哦，原来你也在这里。
11-17 899
Exclusive pair模式简介 The exclusive pair pattern is used to connect a peer to precisely one other peer. This pattern is used for inter-thread communication across the inproc transport. The exclusive pair pattern is formally defined by http://rfc.zeromq.org/sp
ZeroMQ(java)中监控Socket
fjs的专栏
01-03 4161
基本上ZeroMQ（java）中基本的代码都算是过了一遍了吧，不过觉得它在日志这一块貌似基本没有做什么工作，也就是我们通过日志来知道ZeroMQ都发生了什么事情。。 而且由于ZeroMQ中将连接的建立和重连接都进行了隔离，用户不需要做什么事情来维护连接，当然这样做的好处是使程序员的编码工作变少了，但是当然也有不好的地方，那就是用户失去了对ZeroMQ整个运行阶段的控制。。 例如，当我们主动去连接一个远程地址，或者连接中断之后，没有日志告诉我们都这些事情发生了。。。当时对于一个消息通信系统来说，这些日志，或者
Qt网络编程-ZMQ的使用
02-09
在本文中，我们将深入探讨如何在Qt环境中使用ZeroMQ（ZMQ）进行网络编程，特别是实现PUB/SUB（发布/订阅）模式的进程间通信。...通过理解并实践这些文件，开发者可以更好地掌握Qt和ZMQ的结合使用，提升网络编程的能力。
ZMQ/ZeroMQ使用手册
07-06
你可以使用套接字构建多对多的连接模式，如扇出、 发布-订阅、任务分发、请求-应答等。ZMQ 的快速足以胜任集群应用产品。它 的异步 I/O 机制让你能够构建多核应用程序，完成异步消息处理任务。ZMQ 有 着多语言支持，...
windows下qt + zmq
04-28
window下qt通过zmq的工程，分为demo、和应用。 主要为zmq的发布订阅的实现示例，使用该demo能够轻松模拟服务端、客户端、发布者和订阅者搭配组合的使用场景。 还有dll库。
使用ZMQ通信的头文件zmq.h
12-21
使用ZMQ通信的头文件zmq.h
Linux下使用ZMQ实践之与libevent结合
staticnetwind的专栏
06-27 1504
1. 前言         最近考虑到一个问题，项目中有同时处理socket、zeromq的逻辑需求，想通过libevent（I/O服用）一块将zmq-socket的事件也放一个线程中处理。         网上了解了一些实现，大部分都是通过将zmq的sockfd拿到，加入libevent_dispatch中一并处理，...
zmq 队列溢出监控_Linux 网络数据流转监控与调优
weixin_29408705的博客
01-27 866
ring bufferring buffer 位于 NIC 和 IP 层之间，是一个典型的 FIFO(先进先出) 环形队列。ring buffer 没有包含数据本身，而是包含了指向 skb(socket kernel buffers) 的描述符。# 查看网卡是否正常ethtool-Seth0|grep-e"err"-e"drop"-e"over"-e"miss"...
Linux下Qt for Android 调用第三方库ZMQ
wozhishilingling的专栏
01-13 1264
编译Android应用程序，同于arm嵌入式编译程序，需要Android的编译链，才能编译可以在Android上运行的程序。第三方库，Android环境里没有，需要自己编译，再加载到工程里，才能在Android上运行。Android-ndk里面集成了编译Android环境下的编译链arm-linux-androideabi。 在ndk中提取编译链，命令 sudo ./android-ndk-r
python zmq 非阻塞线程接收信息
集电极
08-17 1243
zmq 默认的接收函数是阻塞的，这会阻塞同一个进程其他操作。所以我尝试使用轮询监听避免阻塞。
zmq与libevent共处
robertzhouxh的专栏
10-07 6732
zmq与libevent共处 发表于 2012 年 11 月 5 日 由 tangfu 可能你会有这种需求，使用zmq来处理消息收发但用libevent来监听描述符。http://inercia.tumblr.com/post/3442759929/zeromq-with-libevent是zmq和libevent混用的一个完整例子。 zm
zmq是基于tcp实现的吗_EnclaveZMQ: 基于 SGX 实现 ZMQ 的安全通信
weixin_30141959的博客
01-09 535
摘要 本文提出 EnclaveZMQ，基于 SGX 实现 ZMQ 的安全通信协议 Curve ZMQ。通过 SGX 保护 CurveZMQ 中的长期私钥和协议过程中的各种临时密钥，在Enclave 安全区实现 CurveZMQ 的握手协议和通信消息保护。SGX 的内存隔离可以应对白盒环境下对密钥和协议的各种威胁，SGX 还可以用于构建 ZMQ 的 TCB。实验显示基于 SGX 实现 ZMQ 的安全...
zmq_socket类型解析
~。~|||
08-04 9505
zmq_socket 这里缩写为ZS。 ZS的各个类型之间有的差异很小，而文档里面也没有详细解释这些名称是什么意思。 本文给出官方API文档中各种不同类型ZS的各个属性的解释，并罗列各个属性所有可能的值及其意义。 转载注明: http://blog.csdn.net/l
Linux zmq安装包
最新发布
05-18
zmq是一种高性能、异步、分布式消息传递库，它可以让不同的进程或线程之间通过消息传递来实现数据通信。在Linux系统中，zmq的安装包可以通过各种方式进行安装。下面我为你介绍几种常见的安装方式： 1. 通过系统包管理器进行安装：在大多数Linux系统中，zmq已经被打包成了系统包，可以通过系统自带的包管理器进行安装。比如，在Debian或Ubuntu系统中，可以使用以下命令进行安装： ``` sudo apt-get install libzmq3-dev ``` 2. 通过源码编译进行安装：如果系统没有提供zmq的包，或者你需要使用最新版本的zmq，可以从官方网站下载源码包进行编译安装。具体步骤如下： - 下载zmq源码包：可以从zmq官网（http://zeromq.org/intro:get-the-software）下载最新版本的源码包，也可以从GitHub上获取（https://github.com/zeromq/libzmq）。 - 解压源码包：将下载的源码包解压到一个目录下。 - 编译安装：在源码目录下执行以下命令： ``` ./configure make sudo make install ``` 3. 通过软件包管理器进行安装：一些Linux发行版，比如Arch Linux和Gentoo Linux，提供了自己的软件包管理器，可以通过以下命令进行安装： - Arch Linux: ``` sudo pacman -libs/zeromq ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值