消息队列MQ

在这里插入图片描述

参考资料:https://cloud.tencent.com/developer/article/2335397
https://www.cnblogs.com/hahaha111122222/p/18457859

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件

消息队列

消息队列 Message Queue
消息队列是利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的构建。
消息队列主要解决应用解耦,异步消息,流量削峰等问题,实现高性能,高可用,可伸缩和最终一致性的系统架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。

异步处理

业务可并行,并且不需要阻塞等待处理的结果。

应用解耦

模块之间不需要直接通知,而是通过消息队列。

流量削峰

像秒杀活动,一般流量过大会导致应用挂掉。

而应用服务通过消息队列接收消息,消息队列就可以进行请求控制,比如可以设置最大接收数目,抛弃多余请求。

消息通讯

应用间数据通信。

常用消息队列比较
特性KafkaRocketMQRabbitMQActiveMQ
单机吞吐量10万级(极限可更高)10万级万级(性能相对较低)千级到万级(性能一般)
开发语言Scala(核心),JavaJavaErlangJava
高可用分布式,依赖 ZooKeeper(新版可选)分布式,支持多副本支持集群和镜像队列(主从)支持主从、副本集群
消息延迟ms 级(堆积时可能升高)ms 级us 级(低延迟)ms 级
消息丢失理论上不会丢失(开启 ACK 和持久化)理论上不会丢失(支持多副本 + 持久化)配置合理下可靠,默认情况存在丢失风险默认持久化支持较弱,存在一定丢失可能
消费模式拉取模式推+拉模式推+拉模式推+拉模式
持久化文件系统(顺序写入,性能高)文件为主,内存缓存内存、磁盘,可接入数据库文件为主
支持协议自定义协议自定义协议AMQP、XMPP、SMTP、STOMPAMQP、MQTT、OpenWire、STOMP 等多协议支持
社区活跃度高(Confluent 等活跃)中(阿里主导,国内活跃)高(社区大,文档丰富)较低(活跃度不如前几者)
管理界面第三方工具(如 Kafka Manager、Control Center)官方控制台,功能丰富自带 Web 管理界面,功能强自带 Web 控制台,功能一般
部署难度中(原生依赖 ZooKeeper,需调优)低(部署简单,结构清晰)低(配置灵活,上手快)低(部署最为简单)
部署方式独立运行独立运行独立运行独立运行或嵌入到应用中
成熟度成熟(大规模使用,如 LinkedIn)成熟(阿里巴巴开源,国内支持好)成熟(广泛使用,AMQP 标准)成熟(历史悠久,但逐渐被替代)
综合评价✅ 优点:超高吞吐量、支持大数据处理场景;
❌ 缺点:延迟可能高,学习曲线略陡。
✅ 优点:性能强,稳定可靠,中文文档多;
❌ 缺点:协议不标准,兼容性差。
✅ 优点:部署简单,协议标准,路由机制灵活;
❌ 缺点:吞吐量低,性能瓶颈明显。
✅ 优点:历史悠久,协议支持多,语言兼容广;
❌ 缺点:社区活跃度低,可靠性一般。
### Linux 中 `mq_open` 函数的使用说明 #### 函数原型 `mq_open` 是用于打开或创建一个消息队列的系统调用。其函数原型如下: ```c #include <mqueue.h> mqd_t mq_open(const char *name, int oflag); mqd_t mq_open(const char *name, int oflag, mode_t mode, struct mq_attr *attr); ``` --- #### 参数详解 - **`const char *name`**: 表示要操作的消息队列名称。该名称以 `/` 开头,例如 `/my_queue`。这是 POSIX 消息队列的标准命名方式。 - **`int oflag`**: 定义如何打开或创建消息队列。常见的标志位包括: - `O_RDONLY`: 只读模式。 - `O_WRONLY`: 只写模式。 - `O_RDWR`: 读写模式。 - `O_CREAT`: 如果消息队列不存在,则创建它。 - `O_EXCL`: 当与 `O_CREAT` 结合使用时,如果消息队列已经存在则报错。 - **`mode_t mode` (仅当设置了 `O_CREAT`)**: 设置新创建消息队列的权限,类似于文件权限掩码。通常使用八进制表示,例如 `S_IRUSR | S_IWUSR` 表示用户可读可写[^1]。 - **`struct mq_attr *attr` (仅当设置了 `O_CREAT`)**: 指向一个结构体指针,定义消息队列属性。如果不设置特定属性,可以传入 `NULL`。以下是 `mq_attr` 的成员: - `mq_flags`: 队列的操作标志(目前未被实现)。 - `mq_maxmsg`: 队列中允许的最大消息数。 - `mq_msgsize`: 单条消息最大字节数。 - `mq_curmsgs`: 当前队列中的消息数量(只读字段)。 --- #### 返回值 - 成功时返回一个有效的消息队列描述符 (`mqd_t`)。 - 失败时返回 `(mqd_t)-1` 并设置相应的错误码。可以通过 `strerror(errno)` 获取具体的错误信息。 --- #### 示例代码 以下是一个简单的例子,展示如何使用 `mq_open` 创建并打开一个消息队列: ```c #include <stdio.h> #include <stdlib.h> #include <fcntl.h> #include <sys/stat.h> #include <mqueue.h> #include <errno.h> #define QUEUE_NAME "/example_queue" #define MAX_MESSAGES 10 #define MESSAGE_SIZE 256 int main() { struct mq_attr attr; mqd_t mq; // 初始化消息队列属性 attr.mq_flags = 0; // 默认标志 attr.mq_maxmsg = MAX_MESSAGES; // 最大消息数 attr.mq_msgsize = MESSAGE_SIZE; // 每条消息大小 attr.mq_curmsgs = 0; // 当前消息数(初始化为0) // 打开/创建消息队列 mq = mq_open(QUEUE_NAME, O_CREAT | O_RDWR, 0644, &attr); if (mq == (mqd_t)-1) { // 判断是否失败 perror("mq_open failed"); printf("Error code: %s\n", strerror(errno)); exit(EXIT_FAILURE); } printf("Message queue opened successfully with descriptor: %d\n", mq); // 关闭消息队列 if (mq_close(mq) != 0) { perror("mq_close failed"); exit(EXIT_FAILURE); } // 删除消息队列 if (mq_unlink(QUEUE_NAME) != 0) { perror("mq_unlink failed"); exit(EXIT_FAILURE); } return EXIT_SUCCESS; } ``` --- #### 常见问题及解决方案 1. **无法找到消息队列**:确保传递给 `mq_open` 的名字是以 `/` 开头的有效路径名。 2. **权限不足**:检查是否有足够的权限访问或创建目标消息队列。 3. **资源耗尽**:如果系统达到最大消息队列限制,可能会导致 `mq_open` 调用失败。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值