消息队列总结（1）- 应用避坑指南

已于 2023-07-23 01:06:37 修改
阅读量221 收藏
点赞数 1
分类专栏： 消息队列 文章标签： java 开发语言 中间件
于 2023-07-09 01:26:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LHW0621/article/details/131078044
版权

什么是消息队列？

消息队列是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，通常是来自使用者。消息队列提供了异步的通信协议，每一个贮列中的纪录包含详细说明的资料，包含发生的时间，输入装置的种类，以及特定的输入参数，也就是说：消息的发送者和接收者不需要同时与消息队列互交。消息会保存在队列中，直到接收者取回它。--引用自“维基百科”

简单来说，消息队列就是保存消息的容器，目的是实现消息生产者与消息消费者的解耦。

消息队列中存在哪些重要概念？

  • 消息：是指在系统中传递的数据单元，可以是任何格式的数据，如文本、二进制数据等。
  • 主题：是指一类相关的消息，消费者可以通过订阅主题来接收该类消息。
  • 队列：是指消息在系统中存储的地方，消息按照先进先出（FIFO）的原则进行排队。
  • 生产者：是指向消息队列中发送消息的应用程序或服务。
  • 消费者：是指从消息队列中接收消息的应用程序或服务。
  • 订阅：是指消费者向消息队列注册自己对某个主题或者某些消息的关注，以便在有新消息到达时能够及时接收。

消息队列有哪些应用场景？

注：以下划分方法并不是一种MECE的划分方式，是从不同视角/业务场景看待消息队列的应用，关注在不同应用上可能遇到的问题，因此在案例上可能会存在一些重复。

  • 异步处理：把耗时、可接受延迟的任务放入队列中，通过异步处理，提升系统并发能力及减少响应时间。
    • 典型案例：用户下单后，可以以异步并行的方式处理减库存、用户积分等操作，以实现减少用户下单的系统响应时间。
    • 遇到的典型问题：包括消息积压、消息丢失、消息重复、消费顺序、消息处理失败等。对于消息处理，任何场景都需要考虑消息积压、消息丢失、消息重复、消费顺序等问题，把这个问题交给下一部分统一总结，但是相比于同步场景可以快速感知处理结果，异步处理需要“额外注意”消息处理失败场景。针对异步处理常见的解决方案是消息重试+死信队列，并配合以相应的告警+降级处理。
  • 应用解耦：不同应用之间使用消息队列交互，降低应用之间的依赖。
    • 典型案例：用户下单后，通过异步的方式进行积分，可以避免因为积分系统的故障导致用户无法下单。
    • 遇到的典型问题：包括消息积压、消息丢失、消息重复、消费顺序、消息格式变更等。针对应用解耦场景我们需要“额外关注”消息格式变更问题，消息格式就是多个应用之间的交互协议，所以保障交互协议的稳定性非常重要。我们常见的解决手段是预留足够的扩展性（例如：预留扩展字段、灵活的数据格式等），并且在变更时做好向前兼容+版本管理。
  • 流量削峰：在流量过大时，把请求放入消息队列中匀速处理，避免系统宕机。
    • 典型案例：秒杀系统，通过把请求放入消息队列，避免短时间内流量太大，导致系统宕机。
    • 遇到的典型问题：包括消息积压、消息丢失、消费者系统压力等。针对流量削峰场景需要“额外关注”消费者系统压力，包括由于消费者网络带宽不足、硬件资源不足、并发处理能力不足、消费能力不足等导致的集群压力大，也包括由于负载均衡策略配置不合理导致的消费者流量倾斜，最终导致局部机器压力大。针对这类问题我们常见的解决手段包括：事前做好容量评估、提高硬件资源、优化消费者代码（避免不必要的计算、网络等操作），事中支持水平扩容，消费者处理逻辑上支持重试，事后能够通过监控等手段快速定位到异常消息，并进行重试。
  • 消息通讯：典型的消息通讯包括点对点、发布订阅模式。一个生产者发出消息后，可以由一个或多个消费者进行消费。
    • 典型案例：用户下单后，商品、积分等系统监听用户下单的消息，进行各自系统操作。（发布订阅模式的典型案例）
    • 遇到的典型问题：包括消息积压、消息丢失、消费顺序、消费者组消费一致性等问题。尤其在发布订阅模式下，消费者组消费一致性问题需要“额外关注”，也即部分消费者消费成功、部分消费者消费失败，否则可能在消息处理失败补偿时产生意料之外的风险。针对这类问题我们常见的解决手段包括基于单个消费者建立重试能力、消息去重等。

消息队列如何选型？

我们在做选型时，通常要考虑消息队列的高性能（例如：吞吐量、消息延迟等指标等）、高可用（例如：消息备份、故障恢复等）、其他特性（包括：堆积能力、多语言、跨平台能力），各个消息队列选型对比如下：

特性KafkaRocketMQRabbitMQActiveMQ
单机吞吐量10万级10万级万级10万级
消息延迟ms级ms级us级ms级
开发语言ScalaJavaErlangJava
客户端支持语言Java、ScalaJava、C++、GoJava、Python、ruby、PHP、C++Java、.NET、C++
高可用分布式分布式主从分布式
消费模式拉模式拉模式推模式+拉模式推模式　
持久化文件文件内存，文件内存，文件，数据库
支持协议TCPTCP,JMS,

OpenMessaging

AMQP，XMPP, SMTP,STOMPAMQP,MQTT,OpenWire,STOMP,JMS
延迟消息不支持支持不支持支持
优先级消息不支持不支持支持支持
管理界面　无web console好一般
综合评价优点：拥有强大的性能及吞吐量，兼容性很好。
缺点：由于支持消息堆积，导致延迟比较高。		优点：性能好，稳定可靠，有活跃的中文社区，特点响应快。
缺点：兼容性较差，但随着影响力的扩大，该问题会有改善。		优点：产品成熟，容易部署和使用，拥有灵活的路由配置。
缺点：性能和吞吐量较差，不易进行二次开发。		优点：产品成熟，支持协议多，支持多种语言的客户端。
缺点：社区不活跃，存在消息丢失的可能。

使用消息队列常见的坑及解决思路有哪些？

  • 消息积压：
    • 问题原因：导致消息积压的可能性很多，包括单机/集群消费能力差、消息负载均衡策略不合理、消费网络耗时高、单机消息卡死等。
    • 解决思路：解决此类问题如果是集群消费能力不足可以提升并行消费能力，例如：增加消费者、引入线程池提升处理效率。如果是单机消费能力不足可以调整消息的负载均衡策略/分片策略。此外在消息处理过程中。需要额外关注消息处理时间的设计、消息的异常捕获等，避免异常情况消息卡死的问题。
  • 消息丢失：
    • 问题原因：导致消息丢失的问题包括生产者异步发送、网络丢包、Broker消息积压超限、消费者消费异常等。
    • 解决思路：避免消息丢失主要是要做好消息的ACK以及重试，并且需要基于业务场景选择合适的持久化策略。
  • 重复消费：
    • 问题原因：导致消息重复消费的原因包括生产者重复发送、消息投递过程中由于网络抖动等原因导致的重复、消息消费失败导致的业务侧主动重试、消息中间件由于消息未被ACK导致的主动重试。
    • 解决思路：此类问题需要在消息设计时增加消息的唯一标识，并且在消费者进行去重设计/幂等设计。
  • 消费顺序：
    • 问题原因：导致消费顺序错误的原因包括多个消息并发消费（部分消息消费快，部分消息消费慢）、消息分区（部分消息队列支持消息分区，不同分区消费速度不同可能导致消费顺序错误）。
    • 解决思路：解决顺序消费的最好手段就是串行消费，但是考虑到串行消费有可能会带来消息积压等问题，因此串行消费需要配合进行消息分区，保障同一个分区内串行消费。
  • 消息限流：
    • 问题原因：由于CPU、内存、磁盘、网络等资源的限制，消息限流是为了维护系统的稳定性，保持系统资源利用率的一种主动保护手段。
    • 解决思路：消息限流需包括生产者限流、消费者限流。从系统稳定性的角度考虑，在消费者需要进行限流，常见的限流算法包括令牌桶、滑动窗口等，实现方案包括借助Google的guava包实现单机限流，也可以借助redis实现集群限流等。此外若仅进行消费者限流，生产者不做控制可能会导致严重的消息积压，甚至影响生产者写入。

参考资料

秒懂消息队列MQ，万字总结带你全面了解消息队列MQ-阿里云开发者社区

消息队列详解：ActiveMQ、RocketMQ、RabbitMQ、Kafka-梅竹生辉

消息队列：基础概念篇_消息队列基本概念_Hello，Mr.S的博客-CSDN博客

morning_judger
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式消息队列----如何保证消息的顺序性？
07-02
如何保证消息的顺序性？
C# 并行编程避坑指南之-Try Catch系列
dotNET跨平台
08-23 190
自从.NET Framework 4.5+(含4.5)提供了Task开启线程后，基本上Thread的使用频率就大幅度降低了，但是一些老项目，或者老程序还是习惯用Thread去做，如果一定要使用Thred，那我们就必须在代码中使用try、catch块去处理异常的。因为Thred的代码抛出异常将会是的应用程序被强制关闭，如果要避免这种情况的发生，就需要正确编写try/catch代码块。错误的写法如下：...
一次压力测试Bug排查-epoll使用避坑指南
twomonkeysclub的博客
02-24 666
Bug复现 使用Webbench对服务器进行压力测试，创建1000个客户端，并发访问服务器10s，正常情况下有接近8万个HTTP请求访问服务器。 结果显示仅有7个请求被成功处理，0个请求处理失败，服务器也没有返回错误。此时，从浏览器端访问服务器，发现该请求也不能被处理和响应，必须将服务器重启后，浏览器端才能访问正常。 排查过程 通过查询服务器运行日志，对服务器接收HTTP请求连接，HTTP处...
Java面试：Java开发者必看避坑指南
m0_57285325的博客
06-23 209
前言 目前绝大部分的Java程序员都是处于增删改查的阶段，但是到了这个阶段后就应该考虑下一个层次的突破了，总不能做一辈子的crud吧… **以目前IT行业的发展趋势以及就业情况来看，**市场早已经不缺初级开发了，对于中高级开发人才倒是挺稀罕的，编程这一工作，如逆水行舟不进则退。技术不断更新，你可以设想一下，公司因为疫情的影响实在撑不下去了，你是不幸中枪的那一个，你之后的工作该怎么找？你的工作经验是否能匹配行业当前的招聘要求呢？ 当你的身体和思维已经形成了摸鱼划水的习惯，短期内迅速改变是非常困难的，你能做的只
从单体迈向 Serverless 的避坑指南
阿里云技术
07-24 359
简介：用户需求和云的发展两条线推动了云原生技术的兴起、发展和大规模应用。本文将主要讨论什么是云原生应用，构成云原生应用的要素是什么，什么是 Serverless 计算，以及 Serverless 如何简化技术复杂度，帮助用户应对快速变化的需求，实现弹性、高可用的服务，并通过具体的案例和场景进行说明。 作者 |不瞋 阿里云高级技术专家 导读：用户需求和云的发展两条线推动了云原生技术的兴起、发展和大规模应用。本文将主要讨论什么是云原生应用，构成云原生应用的要素是什么，什么是 Serverless 计..
epoll服务器压力测试,一次压力测试Bug排查-epoll使用避坑指南
weixin_30030255的博客
07-31 342
本文始发于个人公众号：两猿社，原创不易，求个关注Bug复现使用Webbench对服务器进行压力测试，创建1000个客户端，并发访问服务器10s，正常情况下有接近8万个HTTP请求访问服务器。结果显示仅有7个请求被成功处理，0个请求处理失败，服务器也没有返回错误。此时，从浏览器端访问服务器，发现该请求也不能被处理和响应，必须将服务器重启后，浏览器端才能访问正常。排查过程通过查询服务器运行日志，对服务...
Java多线程：从基本概念到避坑指南
2401_84408780的博客
04-18 636
搞定算法，面试字节再不怕，有需要文章中分享的这些二叉树、链表、字符串、栈和队列等等各大面试高频知识点及解析最后再分享一份终极手撕架构的大礼包(学习笔记)：分布式+微服务+开源框架+性能优化《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！**如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）
Prometheus “活学活用”，大牛总结了一套避坑指南
python爬虫人工智能大数据
10-28 901
监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。本文主要分享在 Prometheus 实...
Javase项目发布，Java开发避坑指南！
m0_60388149的博客
07-27 129
一、分布式架构学习路线图 据统计，人的阅读时间在20分钟以内是能够达到全身心投入的，顾文章单张篇幅以后会尽量缩短，但更新会尽量相应频繁一些。 二、计算机软件发展历史 首先我们了解下计算机软件的发展历史,大概总结概括，分为c/s时代，web1.0时代和web2.0时代。 **c/s时代:**富客户端方案。卖软件可赚钱。例如 qq、影音、游戏。 **1.0时代:**主要是单向信息的发布，即信息门户—广大浏览器客户端 ，互联网内容是由少数编辑人员（或站长）定制的。 表是三大门户，新浪/网易/搜狐。新浪以新闻+广
《从单体迈向 Serverless 的避坑指南》
阿里云云栖号
07-24 961
简介：用户需求和云的发展两条线推动了云原生技术的兴起、发展和大规模应用。本文将主要讨论什么是云原生应用，构成云原生应用的要素是什么，什么是 Serverless 计算，以及 Serverless 如何简化技术复杂度，帮助用户应对快速变化的需求，实现弹性、高可用的服务，并通过具体的案例和场景进行说明。 作者 |不瞋 阿里云高级技术专家 导读：用户需求和云的发展两条线推动了云原生技术的兴起、发展和大规模应用。本文将主要讨论什么是云原生应用，构成云原生应用的要素是什么，什么是 Serverless 计..
分布式消息队列四----面试题
07-02
如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？
分布式消息队列---面试题6
07-02
如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？
分布式消息队列三------面试题
07-02
如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？
消息队列-利用事务消息实现分布式事务
02-24
“发消息”过程，往往是为通知另外一个系统更新数据，MQ的“事务”，主要解决消息生产者和消息消费者的数据一致性问题。用户在电商APP上购物时先把商品加到购物车然后几件商品一起下单最后支付完成购物流程，就可以...
JAVA 学习·泛型（二）——通配泛型
wr114514的博客
05-02 1045
介绍了Java泛型中的重要知识点——通配泛型及其应用。
springboot 获取maven打包时间
I do more ，you do less
04-30 472
【代码】springboot 获取maven打包时间。
leetcode16-3Sum Closest
我的程序人生
04-29 442
这道题目和那道3Num的题目很类似，解题思路也是类似的，我们先对数组排序，然后固定一个元素，通过双指针遍历剩下的元素，用一个哨兵记录三个元素的和与target的diff，分别处理三个元素的和小于target，大于target，等于target这三种情况即可。请你从 nums 中选出三个整数，使它们的和与 target 最接近。解释：与 target 最接近的和是 2 (-1 + 2 + 1 = 2)。输入：nums = [-1,2,1,-4], target = 1。假定每组输入只存在恰好一个解。
Java---类和方法的再学习
最新发布
m0_74012211的博客
05-05 1051
Java类与对象
在Linux环境下，使用消息队列实现客户端-服务器应用程序，完成文件传输功能。请详细编写程序
08-25
### 回答1： 在Linux环境下，可以使用消息队列实现客户端-服务器应用程序，完成文件传输功能。程序示例如下：1.首先，在服务器端建立消息队列，用来接收客户端发送的请求信息。2.客户端发送请求信息到服务端的消息队列，请求服务器端传输文件。3.服务端接收到客户端发送的请求信息，开始读取文件。4.服务端将读取的文件内容发送到另一条消息队列，用于接收客户端的请求。5.客户端从消息队列中接收文件内容，并将其保存到本地。 ### 回答2： 在Linux环境下，可以使用消息队列实现客户端-服务器应用程序，完成文件传输功能。下面是一个详细的程序示例： 1. 定义消息队列数据结构和消息类型。 ```c // 服务器端定义的消息队列数据结构 struct msg_buffer { long msg_type; char msg_text[1024]; }; // 定义服务器和客户端之间的消息类型 #define SERVER_MSG_TYPE 1 #define CLIENT_MSG_TYPE 2 ``` 2. 服务器端主程序。 ```c #include <stdio.h> #include <stdlib.h> #include <sys/msg.h> int main() { key_t key; int msg_id; struct msg_buffer message; // 生成唯一的消息队列键值 key = ftok("server", 65); // 创建消息队列 msg_id = msgget(key, 0666 | IPC_CREAT); // 从客户端接收消息 msgrcv(msg_id, &message, sizeof(message), CLIENT_MSG_TYPE, 0); // 打开要传输的文件 FILE *file = fopen(message.msg_text, "rb"); if (!file) { printf("无法打开文件"); return 1; } // 读取文件内容，并将内容发送给客户端 while (!feof(file)) { fread(message.msg_text, sizeof(char), sizeof(message.msg_text), file); message.msg_type = SERVER_MSG_TYPE; msgsnd(msg_id, &message, sizeof(message), 0); } // 发送结束标志 message.msg_type = SERVER_MSG_TYPE; sprintf(message.msg_text, "EOF"); msgsnd(msg_id, &message, sizeof(message), 0); // 关闭文件和消息队列 fclose(file); msgctl(msg_id, IPC_RMID, NULL); return 0; } ``` 3. 客户端主程序。 ```c #include <stdio.h> #include <stdlib.h> #include <sys/msg.h> int main() { key_t key; int msg_id; struct msg_buffer message; // 生成唯一的消息队列键值 key = ftok("server", 65); // 创建消息队列 msg_id = msgget(key, 0666 | IPC_CREAT); // 发送文件名给服务器 message.msg_type = CLIENT_MSG_TYPE; printf("请输入要传输的文件名："); scanf("%s", message.msg_text); msgsnd(msg_id, &message, sizeof(message), 0); // 创建目标文件 FILE *file = fopen("received_file", "wb"); if (!file) { printf("无法创建文件"); return 1; } // 从服务器接收文件内容并写入目标文件 while (1) { msgrcv(msg_id, &message, sizeof(message), SERVER_MSG_TYPE, 0); if (strcmp(message.msg_text, "EOF") == 0) { break; } fwrite(message.msg_text, sizeof(char), sizeof(message.msg_text), file); } // 关闭文件和消息队列 fclose(file); msgctl(msg_id, IPC_RMID, NULL); return 0; } ``` 以上是一个使用消息队列在Linux环境下实现客户端-服务器文件传输功能的程序示例。服务器端程序接收客户端发送的文件名，然后逐块读取文件内容，并发送给客户端。客户端接收服务器发送的文件内容，并将其写入目标文件中。 ### 回答3： 在Linux环境下，可以使用消息队列来实现客户端-服务器应用程序完成文件传输功能。下面以C语言为例，详细编写程序。 步骤1：首先，我们需要创建一个消息队列，并定义消息结构体。消息结构体可以包含文件名、文件大小、操作类型等信息。 ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/ipc.h> #include <sys/msg.h> #include <sys/stat.h> #define MAX_SIZE 1024 // 定义消息结构体 struct message { long mtype; char mtext[MAX_SIZE]; }; ``` 步骤2：服务器端代码，包含消息队列的创建、发送和接收消息等功能。 ```c int main() { key_t key; int msgid; struct message msg; // 创建消息队列 key = ftok(".", 'a'); msgid = msgget(key, IPC_CREAT | 0666); if (msgid == -1) { perror("msgget"); exit(1); } // 接收客户端发送的文件名 msgrcv(msgid, &msg, sizeof(msg.mtext), 1, 0); // 根据文件名打开文件 FILE *fp = fopen(msg.mtext, "rb"); if (fp == NULL) { strcpy(msg.mtext, "文件不存在"); msg.mtype = 2; msgsnd(msgid, &msg, sizeof(msg.mtext), 0); exit(1); } // 发送文件内容 while (!feof(fp)) { size_t size = fread(msg.mtext, 1, MAX_SIZE, fp); msg.mtype = 2; msgsnd(msgid, &msg, size, 0); } // 发送结束标志 strcpy(msg.mtext, "文件传输完成"); msg.mtype = 2; msgsnd(msgid, &msg, sizeof(msg.mtext), 0); // 关闭文件和消息队列 fclose(fp); msgctl(msgid, IPC_RMID, NULL); return 0; } ``` 步骤3：客户端代码，包含消息队列的连接，并发送和接收消息等功能。 ```c int main() { key_t key; int msgid; struct message msg; // 连接消息队列 key = ftok(".", 'a'); msgid = msgget(key, 0); if (msgid == -1) { perror("msgget"); exit(1); } // 输入要传输的文件名 printf("请输入要传输的文件名："); scanf("%s", msg.mtext); // 发送文件名 msg.mtype = 1; msgsnd(msgid, &msg, sizeof(msg.mtext), 0); // 接收服务器端的回复 msgrcv(msgid, &msg, sizeof(msg.mtext), 2, 0); if (strcmp(msg.mtext, "文件不存在") == 0) { printf("文件不存在\n"); exit(1); } // 打开文件，准备接收文件内容 FILE *fp = fopen(msg.mtext, "wb"); if (fp == NULL) { perror("fopen"); exit(1); } // 接收文件内容 while (1) { msgrcv(msgid, &msg, MAX_SIZE, 2, 0); if (strcmp(msg.mtext, "文件传输完成") == 0) break; fwrite(msg.mtext, 1, MAX_SIZE, fp); } // 关闭文件和消息队列 fclose(fp); return 0; } ``` 以上就是使用消息队列在Linux环境下实现客户端-服务器文件传输功能的详细代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值