C++和Python 使用zmq的push和pull将任务下发给多个worker进程

置顶橘色的喵

已于 2024-06-30 02:45:25 修改

阅读量997

点赞数

文章标签： c++ python zmq 多进程发布任务分布式

于 2022-06-29 09:57:41 首次发布

本文链接：https://blog.csdn.net/stallion5632/article/details/125514652

版权

文章目录

zeroMQ在设计上的高性能特征

zeroMQ（ØMQ）是一个轻量级的消息传递库，为分布式应用提供高效的消息传递和线程间通信机制。它在设计上主要采用了以下几个高性能特征：

无锁的队列模型：
- 使用CAS（Compare-And-Swap）算法实现无锁队列，避免了多线程之间的锁竞争，提高了并发性能和响应速度。
- 在数据交换通道（如用户端和session之间的数据交换）中，通过无锁队列模型实现异步事件的处理，提升了系统的响应能力和并发处理能力。
批量处理的算法：
- zeroMQ针对大量消息的处理进行了优化，支持批量发送和接收消息，减少了系统调用的开销，提升了消息处理效率和吞吐量。
多核下的线程绑定，无须CPU切换：
- 与传统的多线程并发模式不同，zeroMQ充分利用多核处理器的优势，将每个工作者线程绑定到单个CPU核心上运行，避免了多线程之间的CPU切换开销，提升了系统的性能和效率。
进程内通信和进程间通信：
- 使用zmq_inproc和zmq_ipc两种本地通信协议，分别适用于进程内和进程间的通信需求。
- zmq_inproc通过共享内存实现进程内通信，无需使用额外的I/O线程，优化了通信的效率和资源利用率。
- zmq_ipc利用系统相关的IPC（Inter-Process Communication）机制实现进程间的消息传递，保证了通信的可靠性和跨平台性。

zeroMQ C++发布任务进程

// Task ventilator in C++
// Binds PUSH socket to tcp://localhost:5557
// Sends batch of tasks to workers via that socket

#include <zmq.hpp>
#include <iostream>
#include <unistd.h>

int main() {
    zmq::context_t context(1);
    zmq::socket_t sender(context, ZMQ_PUSH);
    sender.bind("tcp://*:5557");

    std::cout << "Press Enter when the workers are ready: ";
    getchar();
    std::cout << "Sending tasks to workers...\n";

    int total_msec = 0;
    while (true) {
        int workload = /* generate workload */;
        total_msec += workload;

        zmq::message_t message(10);
        memcpy(message.data(), &workload, sizeof(int));
        sender.send(message);

        sleep(1); // Give 0MQ time to deliver
    }

    std::cout << "Total expected cost: " << total_msec << " msec\n";
    return 0;
}

Python接受任务、工作进程代码

import zmq

context = zmq.Context()
receiver = context.socket(zmq.PULL)
receiver.connect("tcp://localhost:5557")

while True:
    workload = receiver.recv_string()
    print(f"Received workload: {workload}")

Python发布任务进程

import zmq
import time

context = zmq.Context()
sender = context.socket(zmq.PUSH)
sender.bind("tcp://*:5557")

while True:
    workload = /* generate workload */
    sender.send_string(str(workload))
    time.sleep(1)  # Give 0MQ time to deliver