Linux下使用ZMQ实践之监控事件

linux 同时被 2 个专栏收录
52 篇文章 2 订阅
13 篇文章 0 订阅

1. 前言

继续《Linux下使用ZMQ实践“生产者-消费者”模型》 文章之后进一步思考:
ZeroMQ通过隐藏了基础的socket操作,达到调用简明易懂的层次;
那么,如果某些场景下,又需要考虑到连接状态的维护,应该如何操作?
ZeroMQ给出的解决方案就是zmq_socket_monitor

2. 相关知识

支持监控的事件:

事件描述
ZMQ_EVENT_CONNECTEDsocket已被成功连接
ZMQ_EVENT_CONNECT_DELAYED连接动作被挂起
ZMQ_EVENT_CONNECT_RETRIED连接失败,正在重试
ZMQ_EVENT_LISTENING监听成功
ZMQ_EVENT_BIND_FAILED绑定失败
ZMQ_EVENT_ACCEPTED接受新连接
ZMQ_EVENT_ACCEPT_FAILED接受新连接失败
ZMQ_EVENT_CLOSEDsocket关闭(主动关闭)
ZMQ_EVENT_CLOSE_FAILEDsocket关闭失败
ZMQ_EVENT_DISCONNECTED连接意外关闭(被关闭)
ZMQ_EVENT_MONITOR_STOPPED监控的socket消亡

使用思路:将要监听的sock跟monitor关联,然后创建一个额外的ZMQ_PAIR,通过pair来获取sock上的事件。

3.场景举例

根据之前的“生产者-消费者”模型的一个改进:

  • 已知固定的消费者个数,如4个;
  • 生产者等待4个消费者全部启动后,才开始发送消息;
  • 生产者发送退出消息,等待消费者断开连接后才最后退出;

在之前一对多的 Push-Pull 模式下,如果没有消费者连接,则生产者数据发送会一直阻塞,但如果有至少一个连接成功,则生产者进入发送数据阶段;在改进场景中,需求所有消费者就绪后,生产者才正式开始发送数据,达到一个理想的均衡状态。

这样,我们就依赖monitor机制的实现,监听消费者的Push套件,额外增加一个监听器monitor:

#define ADDR "tcp://127.0.0.1:555"
#define MONITOR "inproc://monitor-server"
	...
	void *sock = zmq_socket(ctx, ZMQ_PUSH);
    void *mon  = zmq_socket(ctx, ZMQ_PAIR);
	...
    zmq_bind(sock, ADDR);
    zmq_socket_monitor(sock, MONITOR, ZMQ_EVENT_ALL);
    zmq_connect(mon, MONITOR);
    ...

下来,我们通过monitor等待4个消费者的连接事件,成功后才发送数据;
发送数据完成后,我们通过发送“Quit”报文来通知消费者退出进程;
完整的生产者代码如下:

void test_producer(void *ctx, int times)
{
    int ix = 0, cnt = 0, id = 0, event = 0;
    char request[1024];

    void *sock = zmq_socket(ctx, ZMQ_PUSH);
    void *mon  = zmq_socket(ctx, ZMQ_PAIR);

    s_set_id_num(sock, id);
    zmq_bind(sock, ADDR);
    zmq_socket_monitor(sock, MONITOR, ZMQ_EVENT_ALL);
    zmq_connect(mon, MONITOR);

    LOGN("Producer %d setup\n", id);
    for (cnt = 0; cnt < 4;) {
        event = get_monitor_event(mon, NULL, NULL);
        if (event == ZMQ_EVENT_ACCEPTED) {
            LOGN("Producer accepted\n");
            cnt++;
        }
    }

    LOGN("Producer %d start\n", id);
    for (ix = 0; ix < times; ix++) {
        snprintf(request, sizeof(request), "Data-%03d-%03d", id, ix);
        s_send(sock, request);
        LOGN("Producer %d send: %s\n", id, request);
        usleep(100 * 1000);
    }

    for (cnt = 0; cnt < 4;) {
        s_send(sock, "Quit"); // 通知一个消费者,退出一个消费者
        event = get_monitor_event(mon, NULL, NULL);
        if (event == ZMQ_EVENT_DISCONNECTED) {
            cnt++;
        }
    }

    LOGN("Producer %d stop\n", id);
    zmq_close(sock);
}

获取监听事件的接口为,get_monitor_event,该函数从ZeroMQ帮助手册摘抄下来:

static int get_monitor_event (void *monitor, int *value, char **address)
{   
    // First frame in message contains event number and value
    zmq_msg_t msg;
    zmq_msg_init (&msg);
    if (zmq_msg_recv (&msg, monitor, 0) == -1)
        return -1; // Interrupted, presumably
    assert (zmq_msg_more (&msg));
    
    uint8_t *data = (uint8_t *) zmq_msg_data (&msg);
    uint16_t event = *(uint16_t *) (data);
    if (value) 
        *value = *(uint32_t *) (data + 2);
    
    // Second frame in message contains event address
    zmq_msg_init (&msg);
    if (zmq_msg_recv (&msg, monitor, 0) == -1)
        return -1; // Interrupted, presumably
    assert (!zmq_msg_more (&msg));
    
    if (address) {
        uint8_t *data = (uint8_t *) zmq_msg_data (&msg);
        size_t size = zmq_msg_size (&msg); 
        *address = (char *) malloc (size + 1);
        memcpy (*address, data, size);
        (*address)[size] = 0;
    }
    return event;
}

然后消费者的实现,跟先前的例子差不多,就多了一个退出的判断:

int test_consumer(void *ctx, int id)
{
    int cnt = 0;
    char request[1024];

    void *sock = zmq_socket(ctx, ZMQ_PULL);

    s_set_id_num(sock, id);
    zmq_connect(sock, ADDR);

    LOGN("Consumer %d start\n", id);
    while (++cnt) {
        s_recv(sock, request);
        LOGN("Consumer %d recv: %s\n", id, request);
        usleep(300 * 1000);

        if (strcmp(request, "Quit") == 0) {
            break;
        }
    }
    LOGN("Consumer %d stop\n", id);
    zmq_close(sock);
}

最后,main函数功能,主要为fork,主进程做生产者,子进程做消费者;
同时,为了方便起见,省略了waitpid回收子进程的动作;


int main(int argc, char *argv[])
{
    int ix = 0;
    void *ctx = zmq_ctx_new();
    srandom(time(NULL));

    /* 1x producter vs 4x consumer */
    for (ix= 1; ix <= 4; ix++) {
        pid_t pid = fork();
        if (pid == 0) {
            test_consumer(ctx, ix);
            goto out;
        }
    }

    test_producer(ctx, atoi(argv[1]));
    // TODO waitpid
out:
    zmq_ctx_destroy(ctx);
    exit(EXIT_SUCCESS);
}

实际运行情况如下:

[ 1561228921.433 ]: Consumer 1 start
[ 1561228921.433 ]: Consumer 2 start
[ 1561228921.434 ]: Consumer 4 start
[ 1561228921.434 ]: Consumer 3 start
[ 1561228921.434 ]: Producer 0 setup
[ 1561228921.435 ]: Producer accepted
[ 1561228921.496 ]: Producer accepted
[ 1561228921.572 ]: Producer accepted
[ 1561228921.572 ]: Producer accepted
[ 1561228921.572 ]: Producer 0 start
[ 1561228921.572 ]: Producer 0 send: Data-000-000
[ 1561228921.574 ]: Consumer 3 recv: Data-000-000
[ 1561228921.673 ]: Producer 0 send: Data-000-001
[ 1561228921.774 ]: Producer 0 send: Data-000-002
[ 1561228921.775 ]: Consumer 2 recv: Data-000-002
[ 1561228921.876 ]: Producer 0 send: Data-000-003
[ 1561228921.877 ]: Consumer 1 recv: Data-000-003
[ 1561228921.978 ]: Producer 0 send: Data-000-004
[ 1561228921.978 ]: Consumer 4 recv: Data-000-004
[ 1561228922.079 ]: Producer 0 send: Data-000-005
[ 1561228922.081 ]: Consumer 3 recv: Data-000-005
[ 1561228922.183 ]: Producer 0 send: Data-000-006
[ 1561228922.284 ]: Producer 0 send: Data-000-007
[ 1561228922.285 ]: Consumer 2 recv: Data-000-007
[ 1561228922.386 ]: Producer 0 send: Data-000-008
[ 1561228922.387 ]: Consumer 1 recv: Data-000-008
[ 1561228922.488 ]: Producer 0 send: Data-000-009
[ 1561228922.488 ]: Consumer 4 recv: Data-000-009
[ 1561228922.590 ]: Consumer 3 recv: Quit
[ 1561228922.892 ]: Consumer 3 stop
[ 1561228922.894 ]: Consumer 2 recv: Quit
[ 1561228923.195 ]: Consumer 2 stop
[ 1561228923.196 ]: Consumer 1 recv: Quit
[ 1561228923.497 ]: Consumer 1 stop
[ 1561228923.499 ]: Consumer 4 recv: Quit
[ 1561228923.800 ]: Consumer 4 stop
[ 1561228923.802 ]: Producer 0 stop

可以看出,程序第一阶段,启动进程;第二阶段,发送数据,负载均衡;第三阶段,回收资源。

4 结论

ZMQ监控事件的方法,提供了一种可选的扩展场景支持,实际使用可以放主线程处理,也可以放独立的子线程处理。

  • 1
    点赞
  • 0
    评论
  • 4
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
<p> <span style="color:#337FE5;"><strong>【为什么还需要学习C++?】</strong></span> </p> <p style="margin-left:0cm;"> 你是否接触很多语言,但从来没有了解过编程语言的本质? </p> <p style="margin-left:0cm;text-align:start;"> 你是否想成为一名资深开发人员,想开发别人做不了的高性能程序? </p> <p style="margin-left:0cm;text-align:start;"> 你是否经常想要窥探大型企业级开发工程的思路,但苦于没有基础只能望洋兴叹? </p> <p style="margin-left:0cm;text-align:start;">   </p> <p style="margin-left:0cm;text-align:start;"> 那么C++就是你个人能力提升,职业之路进阶的不二之选。 </p> <p style="margin-left:0cm;text-align:start;"> <br /> </p> <p style="margin-left:0cm;text-align:start;"> <br /> </p> <p style="margin-left:0cm;"> <strong><span style="color:#337FE5;">【课程特色】</span></strong> </p> <p style="margin-left:0cm;text-align:start;"> 1.课程共19大章节,239课时内容,涵盖数据结构、函数、类、指针、标准库全部知识体系。 </p> <p style="margin-left:0cm;text-align:start;"> 2.带你从知识与思想的层面从0构建C++知识框架,分析大型项目实践思路,为你打坚实的基础。 </p> <p style="margin-left:0cm;text-align:start;"> 3.李宁老师结合4大国外顶级C++著作的精华为大家推出的《征服C++11》课程。 </p> <p style="margin-left:0cm;text-align:start;"> <br /> </p> <p class="ql-long-24357476"> <span style="color:#337FE5;"><strong>【学完后我将达到什么水平?】</strong></span> </p> <p class="ql-long-24357476"> 1.对C++的各个知识能够熟练配置、开发、部署; </p> <p class="ql-long-24357476"> 2.吊打一切关于C++的笔试面试题; </p> <p class="ql-long-24357476"> 3.面向物联网的“嵌入式”和面向大型化的“分布式”开发,掌握职业钥匙,把握行业先机。 </p> <p class="MsoNoSpacing" style="margin-left:18pt;"> <br /> </p> <div> <br /> </div> <p> <br /> </p> <p style="margin-left:0cm;text-align:start;"> <span style="color:#337FE5;"><strong>【面向人群】</strong></span> </p> <p style="margin-left:0cm;text-align:start;"> <span style="color:#222226;font-family:PingFangSC-Regular, "font-size:14px;background-color:#FFFFFF;">1.希望一站式快速入门的C++初学者;</span> </p> <p style="margin-left:0cm;text-align:start;"> <span style="color:#222226;font-family:PingFangSC-Regular, "font-size:14px;background-color:#FFFFFF;">2.希望快速学习 C++、掌握编程要义、修炼内功的开发者;</span> </p> <p style="margin-left:0cm;text-align:start;"> <span style="color:#222226;font-family:PingFangSC-Regular, "font-size:14px;background-color:#FFFFFF;">3.有志于挑战更高级的开发项目,成为资深开发的工程师。</span> </p> <p style="margin-left:0cm;text-align:start;"> <br /> </p> <p> <br /> </p> <p> <span style="color:#337FE5;"><strong>【课程设计】</strong></span> </p> <p> 本课程包含3大模块 </p> <p> <strong>基础篇</strong><br /> 本篇主要讲解c++的基础概念,包含数据类型、运算符等基本语法,数组、指针、字符串等基本词法,循环、函数、类等基本句法等。 </p> <p> <br /> <strong>进阶篇</strong><br /> 本篇主要讲解编程中常用的一些技能,包含类的高级技术、类的继承、编译链接和命名空间等。 </p> <p> <br /> <strong>提升篇:</strong><br /> 本篇可以帮助学员更加高效的进行c++开发,其中包含类型转换、文件操作、异常处理、代码重用等内容。 </p> <p> <img src="https://img-bss.csdnimg.cn/202007091130239667.png" alt="" /> </p>
©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值