消息中间件之MQ

最新推荐文章于 2024-05-18 16:42:38 发布

麦客*风之韵

最新推荐文章于 2024-05-18 16:42:38 发布

阅读量92

点赞数

分类专栏：消息中间件MQ 文章标签： java 经验分享 java-rabbitmq java-activemq java-rocketmq Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_40208374/article/details/129323121

版权

消息中间件MQ 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

基本概念：

MQ: (Message Queue)消息队列，指的是保存消息的一个容器，本质是队列。

消息：在应用之间传送的数据，可以是简单的文本字符串，也可以是对象。

队列：是一种特殊的线性表，它只允许在表的前端（队头）进行删除操作（出队列），在队尾进行插入操作（入队列）；具有先进先出特性（FIFO），例如现实中的水管。

生产者向消息队列中存入数据，消费者从队列中获取数据；

消息队列的应用场景：

应用解耦、异步处理、流量削峰、日志。

解耦：将复杂的关系（比如调用关系、关联关系、数据传递关系、控制关系），降低直接关联。

一个系统或者模块A通过调用接口推送数据给其他多个系统，如果有其中一个系统不用数据。或者有一个新系统又需要数据。A又得去改造调用方式。这样A就出现严重耦合，其他系统如果挂了，需不需要继续发送数据？需不需要保存数据？

使用MQ，A先将产生的数据发送到MQ里面去，其他系统需要的话，直接从MQ里面去消费。A不需要考虑是否调用成功，是否超时等问题。

异步：主要是为了减少请求的响应时间，实现非核心流程的异步化，提高系统的相应性能。

A 系统接收一个请求，需要在自己本地写库，还需要在 BCD 三个系统写库，自己本地写库要 3ms，BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms，接近 1s，用户感觉搞个什么东西，慢死了慢死了。用户通过浏览器发起请求，等待个 1s，这几乎是不可接受的。

使用MQ,A只需要发3条消息到MQ队列中，假如耗时 5ms，mq返回成功结果，用户不需要等待B、C、D系统处理,继续执行其他请求。等它们系统处理完后，将数据进行返回。系统从接受一个请求到返回响应给用户，总时长是 3 + 5 = 8ms，对于用户而言，访问时间缩短。

简而言之：

A服务调用B服务，B服务先返回一个成功给A，A不需要在继续等待，B继续处理任务，处理成功把数据发送给mq,然后mq再发送给A服务，这就是mq的异步处理

削峰：服务器处理消息能力有限，一段时间出现集中的流量冲击，会击垮服务器。需要削弱峰值流量，对服务器起一个缓冲作用。

使用MQ,将大量的请求写入MQ,服务器，然后服务器从MQ根据自己承受能力去消费，错过峰值时间段，挤压的消息队列会被慢慢消费掉。

日志：对大量日志传输进行处理；日志采集到MQ（kafka）中,日志处理通过订阅方式来消费日志信息。

缺点：

系统复杂度提高；
系统可用性降低；
数据一致性问题；

消息分类：

• Active MQ:
单机吞吐量万级，时效性ms级，维护少，高吞吐量，较少使用。

• RocketMQ:（应用于金融互联网领域）
     优点：单机吞吐量十万级，分布式架构，功能较为完善，消息可以做到0丢失，扩展性好。使用java语言实现。
     缺点：支持的客户端语言不多，目前是java和C++，社区活跃度一般。

• RabbitMQ:
    主流中间件之一，使用erlang语言的高并发性，性能好，吞吐量到万级，支持多种语言，社区活跃度高，更新频率高。商业版需要收费。

• Kafka: 
    优点：应用于大数据领域内的消息传输以及日志采集，性能卓越，吞吐量高；
    缺点：Kafka单机超过64个队列/分区。load会出现明显的飙高现象，队列越多，load越高，发送消息响应的时间就越长。消费失败不支持重试，支持消息顺序，但是一台代理宕机后，会产生消息乱序，社区更新慢。