共享内存实现多进程低延迟队列 10us

最新推荐文章于 2022-09-22 16:33:16 发布

Sweet_Oranges

最新推荐文章于 2022-09-22 16:33:16 发布

阅读量742

点赞数

分类专栏： c 文章标签： c++

本文链接：https://blog.csdn.net/Sweet_Oranges/article/details/107082050

版权

本文介绍了为解决消费者慢导致的IO瓶颈问题，采用共享内存实现多进程间的低延迟队列。生产者利用环形缓冲区和结构体映射配置信息，消费者通过mremap调整缓冲区大小并使用inotify事件感知新消息。实测新消息感知延迟约10us。

摘要由CSDN通过智能技术生成

起因

之前的博客写过通过inotify 加文件的形式来实现多进程队列的文章。这种方式在通常情况下表现不错，但是这里存在一个问题就是当消费者过慢，会产生大量的击穿内核高速缓冲区io，导致消费者卡在读取数据的瓶颈上，无法使用负载均衡等手段来提高处理能力。

为了解决上述问题，引入了共享内存，众所周知，这是所有ipc中最快的通信方式，从根本上解决这个问题。下面通过实现一个producer 和 consumer 程序，来展示我的设计思路。

producer

由于物理内存有限，生产者会使用一个环形缓冲区来保证热点数据始终在内存中。同时为了保证消费者的接入配置最小化，生产者将配置通过一个固定大小的结构体映射到内存中，消费者首先映射结构体读取配置信息，从结构体中的得知缓冲区大小后执行mremap进行重新调整大小，这样消费者只需要知道共享内存的地址（一个文件名），就可以实现消费。同时采用了消息计数，来标识消费者是否已经处理所有消息，触发等待。当消费者在等待新数据时，唤醒消费者我们选择了通过向指定文件写入一个字节的内容触发inotify，虽然通过信号量也可以实现，但是使用信号量会导致生产者要多开一个线程实现管理，引入额外的复杂度。

#include <sys/stat.h>
#include <fcntl.h>
#include <sys/inotify.h>
#include <functional>
#include <unistd.h>
#include <cstring>
#include <string>
#include <sys/mman.h>
#include <sys/time.h>
#include <iostream>
#include <semaphore.h>

#include <gflags/gflags.h>

DEFINE_int64(shm_size, 6, "shm_size m");
DEFINE_string(inotify_file, "/tmp/writer.txt", "inotify file path");
DEFINE_string(shm_file, "/test", "shm file path");
DEFINE_string(shm_key, "", "shm key");

class Producer
{
public:
    Producer(const std::string &inotify_path, const std::string &shm_path) : inotify_path_(inotify_path), shm_path_(shm_path)
    {
        shm_size_ = FLAGS_shm_size * 1024 * 1024; // 1g; // 1g
    }

    bool Init(const std::string &key)
    {
        fd_ = open(inotify_path_.c_str(), O_WRONLY | O_APPEND | O_CRE