RabbitMQ学习

• 一、MQ简介

1. 消息队列：

消息对接，即MessageQueue(MQ)，是一个队列，数据先进先出，用来保存消息，相当于把消息数据存储在队列数据结构中。多用于分布式系统之间进行通信。分布式系统通信有两种方式，直接远程调用和借助第三方中间件完成间接通信。现在所学的RabbitMQ就属于后者

    2.MQ的优势：

         （1）应用解耦，系统的耦合性越高，容错性就越低，可维护性就越低。使用MQ使得应用间解耦，提升容错性和可维护性。

        （2）异步提速，调用方只需要发送消息到消息队列，各被调用方从消息队列取到需要的数据后可以异步执行。此举提升用户体验和系统吞吐量（单位时间内处理请求的数目）。

        （3）削峰填谷，系统访问量大的时候各消息先存在消息队列中，避免了高峰的存在，然后再在接下来的较长时间里按某一个相对平稳的效率处理队列中的消息，这样“谷”也被填平了。使用MQ后，可以提高系统稳定性。

  3.MQ劣势：

        （1）系统可用性降低

系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。如何保证MQ的高可用？通过搭建消息队列集群

        （2）系统复杂度提高

MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。系统需要考虑如何保证消息没有被重复消费（通过消息确认机制）。还要考虑怎么处理消息丢失情况以及如何保证消息传递的顺序性？

        （3）一致性问题

A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。所以需要考虑如何保证消息数据处理的一致性。

  4.MQ适用条件：

        （1）生产者不需要从消费者处获得反馈。引入消息队列之前的直接调用，其接口的返回值应该为空，这才让明明下层的动作还没做，上层却当成动作做完了继续往后走，即所谓异步成为了可能。

        （2）容许短暂的不一致性。

        （3）确实是用了有效果。即解耦、提速、削峰这些方面的收益，超过加入MQ，管理MQ这些成本。

• 二、RabbitMQ简介

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议的一个开放标准，为面向消息的中间件设计。RabbitMQ 是基于 AMQP 协议使用 Erlang 语言开发的一款消息队列产品。

 

Producer: 消息发送方称为生产者

Consumer: 消息发送方称为生产者

Connection: publisher/consumer和broker之间的TCP连接

Channel：如果每一次访问RabbitMQ 都建立一个Connection，在消息量大的时候建立TCP Connection的开销将是巨大的，效率也较低。Channel是在 connection内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和message broker 识别 channel，所以 channel 之间是完全隔离的。Channel作为轻量级的Connection极大减少了操作系统建立TCP connectio的开销。

Virtual host：出于多租户和安全因素设计的，把AMQP的基本组件划分到一个虚拟的分组中，类似于网络中的namespace概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个virtualhost，每个用户在自己的virtualhost创建exchange／queue等。

Exchange: message 到达broker的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)。

Queue：消息最终被送到这里等待 consumer 取走。

Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding 信息被保存到exchange中的查询表中，用于message的分发依据。

• RabbitMQ使用

RabbitMQ有六种模式，分别是简单模式、

1. 简单模式：

 

 

    2. 工作队列模式Work Queues

 

与入门程序的简单模式相比，多了一个或一些消费端，多个消费端共同消费同一个队列中的消息，多个消费端之间是竞争关系。

适用场景：对于任务过重或任务较多情况使用工作队列可以提高任务处理的速度。例如12306的发送短信服务。

    3.Pub/Sub订阅模式：

 

X表示Exchange，即交换机。一方面，接收生产者发送的消息。另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。Pub/Sub模式需要设置类型为 fanout 的交换机。

Exchange有常见以下3种类型：

• Fanout：广播，将消息交给所有绑定到交换机的队列
• Topic：通配符，把消息交给符合routing pattern（路由模式）的队列
• Direct：定向，把消息交给符合指定routing key的队列

注意：（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

发布订阅模式与工作队列模式的区别：

• 工作队列模式不用定义交换机，而发布/订阅模式需要定义交换机
• 发布/订阅模式的生产方是面向交换机发送消息，工作队列模式的生产方是面向队列发送消息(底层使用默认交换机)
• 发布/订阅模式需要设置队列和交换机的绑定，工作队列模式不需要设置，实际上工作队列模式会将队列绑定到默认的交换机。

    4.Routing路由模式：

队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key），消息的发送方在向Exchange发送消息时，也必须指定消息的RoutingKey。Exchange不再把消息交给每一个绑定的队列，而是根据消息的Routing Key进行判断，只有队列的Routingkey 与消息的Routing key完全一致，才会接收到消息。路由模式需要设置类型为 direct 的交换机。

 

P：生产者，向Exchange 发送消息，发送消息时，会指定一个routing key

X：Exchange（交换机），接收生产者的消息，然后把消息递交给与routing key完全匹配的队列。

        5.Topics通配符模式：

Topic 类型与Direct 相比，都是可以根据RoutingKey 把消息路由到不同的队列。只不过 Topic 类型Exchange 可以让队列在绑定 Routing key 的时候使用通配符！  Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，。通配符规则：# 匹配一个或多个词，* 匹配不多不少恰好1个词。Topics通配符模式需要设置类型为topic的交换机。

• RabbitMQ高级特性

        1.消息的可靠投递

                (1)confirm确认模式

    设置ConnectionFactory的publisher-confirms="true" 开启确认模式。消息从producer到exchange则会返回一个confirmCallback。当消息发送到exchange后回调confirm方法。在方法中判断ack，如果为true，则发送成功，如果为false，则发送失败，需要处理。

                (2)return回退模式

设置ConnectionFactory的publisher-returns="true" 开启 退回模式。使用rabbitTemplate.setReturnCallback设置退回函数，当消息从exchange路由到queue失败后，如果设置了rabbitTemplate.setMandatory(true)参数，则会将消息退回给producer。并执行回调函数returnedMessage。

        2.Consumer Ack

ack指Acknowledge。 表示消费端收到消息后的确认方式。

共有三种，分别是：

• • • 自动确认:acknowledge=”none”
    • 手动确认:acknowledge=”manual”
    • 根据异常情况确认:acknowledge=”auto”

    其中自动确认是指，当消息一旦被Consumer接收到，则自动确认收到，并将相应 message 从 RabbitMQ 的消息缓存中移除。但是在实际业务处理中，很可能消息接收到，业务处理出现异常，那么该消息就会丢失。如果设置了手动确认方式，则需要在业务处理成功后，调用channel.basicAck()，手动签收，如果出现异常，则调用channel.basicNack()方法，让其自动重新发送消息。

        3.消费端限流

在<rabbit:listener-container> 中配置 prefetch属性设置消费端一次拉取多少消息

消费端的确认模式一定为手动确认。acknowledge="manual

        4.TTL（Time To Live（存活时间/过期时间））

当消息到达存活时间后，还没有被消费，会被自动清除。

设置队列过期时间使用参数：x-message-ttl，单位：ms(毫秒)，会对整个队列消息统一过期。

设置消息过期时间使用参数：expiration。单位：ms(毫秒)，当该消息在队列头部时（消费时），会单独判断这一消息是否过期。

如果两者都进行了设置，以时间短的为准。

        5.死信队列DLX

Dead Letter Exchange（死信交换机），当消息成为Dead message后，可以被重新发送到另一个交换机，这个交换机就是DLX。

消息成为死信的三种情况：（超长、拒接、超时）

• • 队列消息长度到达限制；
  • 消费者拒接消费消息，basicNack/basicReject,并且不把消息重新放入原目标队列,requeue=false；
  • 原队列存在消息过期设置，消息到达超时时间未被消费；

     

 

设置死信交换机和死信routing key

 

        6.延迟队列

    延迟队列，即消息进入队列后不会立即被消费，只有到达指定时间后，才会被消费。但是在RabbitMQ中并未提供延迟队列功能，可以使用TTL+死信队列组合实现延迟队列的效果，即设置消息存活时间，到了时间如果还未被消费就进入死信交换机、死信队列触发某一任务，达到延迟队列的效果。