RabbitMQ基础

1. 简介

RabbitMQ是由Erlang语言编写,实现了AMQP(Advanced Message Queuing Protocol)的消息中间件,常用于分布式系统之间的信息传递。
有以下特点:

  • 可靠性:持久化、传输确认及发布确认
  • 灵活路由:一些内置交换器提供典型的路由功能,针对更复杂的路由功能,可以将多个交换器绑定在一起,也可以通过插件机制来实现自己的交换器
  • 扩展性:多个RabbitMQ节点可以组成一个集群,可以动态扩展集群中节点
  • 高可用性:队列可以在集群中的机器上设置镜像,使得在部分节点出现问题的情况下队列依然可用
  • 多种协议:除了原生支持AMQP协议,还支持STOMP、MQTT等多种消息中间件协议
  • 多语言客户端:支持常用语言,如Java、Python、Ruby、PHP、C#、JavaScript等
  • 管理界面:提供简易用户界面( 默认http://localhost:15672 ),可以监控和管理消息、集群中的节点等
  • 插件机制:提供了许多插件,以实现从多方面进行扩展,也可以编写自己的插件

2. 架构分析

2.1 AMQP协议

AMQP协议包括3层:

  • Module Layer:位于协议最高层,主要定义一些客户端调用命令,客户端可以利用这些命令实现自己的业务逻辑。如客户端可以使用Queue.Declare命令声明队列。
  • Session Layer:位于中间层,主要负责将客户端命令发送给服务器,在将服务端应答返回给客户端,主要为客户端和服务器之间的通信提供可靠同步机制和错误处理。
  • Transport Layer:位于最底层,主要传输二进制数据流,提供帧的处理,信道复用,错误检测和数据表示等。

AMQP是通过协议命令进行交互的,可以看做是一系列结构化命令的集合,如Queue.Declare,Basic.Consume等。
AMQP模型架构:消息发布到交换器,交换器通过一些绑定规则分发消息到相应队列中,消费者通过订阅或者直接拉取,获取队列中的消息。

2.2 RabbitMQ结构

Producer:生产者,负责投递消息给Exchange。消息一般由EXCHANGE、ROUTING_KEY以及payload(业务方JSON串)组成。
Consumer:消费者,接收消息的一方。消费者从队列中消费消息时,只是消费payload,也就不知道生产者方的信息,因为消息存入队列后会丢掉EXCHANGE、ROUTING_KEY等其他标签。
Broker:消息中间件的服务节点。一个Broker可以看做一个RabbitMQ实例。
Queue:队列。RabbitMQ中消息都只能存储在队列中,支持持久化。Kafka将消息存储在topic这个逻辑层面,而相应的队列逻辑只是topic实际存储文件中的位移标识。
多个消费者可以订阅同一队列,这时队列中的消息会被平均分摊(Round-Robin 轮询)给多个消费者进行处理,而不是每个消费者都可以收到所有消息。不支持队列层面的广播消费。
Exchange:交换器,将消息路由到一个或多个队列中,如果路由不到会返回给生产者或直接丢弃。
生产者发送消息先发送到交换器,生产者绑定交换器时会给交换器传递一个ROUTING_KEY,队列自身有一个BINDING_KEY,交换机通过BINDING_KEY与ROUTING_KEY的匹配路由到相应队列并发送消息给队列。
交换器有 fanout, direct, topic, header 四种。

  • fanout: 把发送到该交换器的消息路由到所有与交换器绑定的队列
  • direct: 把发送到该交换器的消息路由到BINDING_KEY完全匹配交换器ROUTING_KEY的队列
  • topic: 把发送到该交换器的消息路由到BINDING_KEY模糊匹配交换器ROUTING_KEY的队列,常用于广播消息到多个指定队列
    匹配规则:
  • ROUTING_KEY和BINDING_KEY是由“ . ”号分隔的字符串(如com.rabbit.client,每个分隔开的字符串为一个独立的单词)
  • BINDING_KEY用于模糊匹配,可以存在特殊字符“ * ”和“ # ”,“ # ”用于匹配单个单词,“ * ”号用于匹配零个或多个单词。
  • header: 把发送到该交换器的消息路由到完全匹配交换器消息头属性的队列。header交换器没有用BINDING_KEY作为匹配方式,与direct类似,但在direct的基础上,header还支持更加丰富的BINDING_KEY数据类型,可以是整型或者哈希。

3. 连接原理

无论是生产者还是消费者,都需要和rabbitMQ Broker建立一条TCP连接(Connection),客户端可以在Connection上创建一个AMQP信道(Channel),每个信道都会被指派一个唯一的ID。信道是建立在Connection之上的虚拟连接,RabbitMQ的每条指令都是基于信道的。
引入信道是为了避免多个客户端连接Broker时建立多个TCP连接,造成性能瓶颈。
每个线程一个信道,信道复用了Connection的TCP连接,同时RabbitMQ可以确保每个线程的独立性。当每个信道流量不大时,多个信道可以复用一个Connection,但当信道中的流量很大时,一个Connection就会出现性能瓶颈,这时就需要将流量分摊到多个Connection了。

4. Channel主要方法清单

以下只列出参数最全的方法,其他重载方法不做说明

basicPublish

生产者发布一条消息。如果交换器不存在,会产生通道协议异常,并且关闭当前通道。

void basicPublish(String exchange, String routingKey, boolean mandatory, boolean immediate, AMQP.BasicProperties props, byte[] body) throws IOException

Parameters:
exchange - 消息要发布到的交换器,如果设为空字符串则会发布到默认交换器
routingKey - 路由键
mandatory - 如果设置了mandatory标签则为true。true:交换器无法路由到任何符合条件的队列,则会通过basic.return返还给生产者。false:出现以上情形直接丢弃该消息
immediate - 如果设置了immediate标签则为true。true: 如果交换器路由消息的队列上没有消费者,这条消息不会放入队列;如果交换器路由到的所有队列都没有消费者,则会通过basic.return返还给生产者。 注意 RabbitMQ 3.0 版本开始去掉了此参数的支持.
props - 消息的基本属性集。成员有:contentType,contentEncoding,headers(Map<String,Object>),deliveryMode(消息投递模式),priority(消息优先级),correlationId(关联请求和其调用RPC之后的回复),replyTo(回调队列),expiration,messageId,timestamp,type,userId,appId,clusterId。
body - 消息体

exchangeDeclare

声明交换器

AMQP.Exchange.DeclareOk exchangeDeclare(String exchange, BuiltinExchangeType type, boolean durable, boolean autoDelete, boolean internal, Map<String,Object> arguments) throws IOException`

Parameters:
exchange - 交换器名字
type - 交换器类型(direct, fanout, headers, topic)
durable - 是否持久化 (存储在磁盘,服务器重启时依旧存在)
autoDelete - 自动删除的前提是至少有一个交换器或队列与之绑定,自动删除操作是当交换器所有绑定都解除了,就会被自动删除
internal - 是否属于内部交换器(对于内部使用的交换器,不能由客户端直接发布)
arguments - 可以传一些其他参数
exchangeDeclareNoWait
与exchangeDeclare一样,但是没有返回AMQP.Exchange.DeclareOk,表示该方法无需等待服务器返回创建结果
exchangeDeclarePassive
声明一个已经存在指定名字的交换器,如果交换器不存在会引发404通道异常

AMQP.Exchange.DeclareOk exchangeDeclarePassive(String name) throws IOException
exchangeDelete

删除交换器

AMQP.Exchange.DeleteOk exchangeDelete(String exchange, boolean ifUnused) throws IOException

Parameters:
exchange - 交换器名字
ifUnused - 是否删除无客户端使用的交换器
exchangeDeleteNoWait
与exchangeDelete一样,但是没有返回AMQP.Exchange.DeleteOk,表示该方法无需等待服务器返回删除结果

exchangeBind

绑定一个交换器到另一个交换器上

AMQP.Exchange.BindOk exchangeBind(String destination, String source, String routingKey, Map<String,Object> arguments) throws IOException

Parameters:
destination - 目的交换器
source - 来源交换器
routingKey - 交换器绑定的路由键
arguments - 一些其他的绑定参数
exchangeBindNoWait
与exchangeBind一样,但是没有返回AMQP.Exchange.BindOk,表示该方法无需等待服务器返回绑定结果

exchangeUnbind

解绑交换器与交换器的绑定

AMQP.Exchange.UnbindOk exchangeUnbind(String destination, String source, String routingKey, Map<String,Object> arguments) throws IOException

Parameters: 参数与exchangeBind一致
exchangeUnbindNoWait
与exchangeUnbind一样,但是没有返回AMQP.Exchange.UnbindOk,表示该方法无需等待服务器返回解绑结果

queueDeclare

声明一个队列

AMQP.Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String,Object> arguments) throws IOException

Parameters:
queue - 队列名
durable - 是否持久化 (服务器重启时依旧存在)
exclusive - 是否为排他队列 (仅限于在声明它的当前连接的所有通道中使用);排他队列即使声明为持久化的,一旦连接关闭或者所有客户端断开连接,也会被自动删除
autoDelete - 自动删除的前提是至少有一个客户端与之绑定,自动删除操作是当队列所有绑定都解除了,就会被自动删除
arguments - 一些其他的参数。有 x-massage-ttl(队列中的消息过期时间),x-max-priority(指定了就代表队列里的消息是有优先级的,指定的数值代表最大优先级数,若队列中消息的优先级设置的值大于最大优先级数,一律按最大优先级数处理;若指定了队列的最大优先级数,则此后发送消息时都需要设置消息当前的优先级) 等。
queueDeclareNoWait
与queueDeclare一样,但是没有返回AMQP.Queue.DeclareOk,表示该方法无需等待服务器返回队列创建结果
queueDeclarePassive
声明一个已经存在指定名字的队列,如果队列不存在,或在另一个Connection中为排他队列,会引发IO异常。

queueDelete

删除一个队列

AMQP.Queue.DeleteOk queueDelete(String queue, boolean ifUnused, boolean ifEmpty) throws IOException

Parameters:
queue - 队列名
ifUnused - 是否删除无客户端使用的队列
ifEmpty - 是否删除空的队列
queueDeleteNoWait
与queueDelete一样,但是没有返回AMQP.Queue.DeleteOk,表示该方法无需等待服务器返回队列删除结果

queueBind

绑定一个队列到交换器

AMQP.Queue.BindOk queueBind(String queue, String exchange, String routingKey, Map<String,Object> arguments) throws IOException

Parameters:
queue - 队列名
exchange - 交换器的名字
routingKey - 当前绑定的路由键
arguments - 传递一些其他参数
queueBindNoWait
与queueBind一样,但是没有返回AMQP.Queue.BindOk,表示该方法无需等待服务器返回队列绑定结果

queueUnbind

解绑交换器的一个队列

AMQP.Queue.UnbindOk queueUnbind(String queue, String exchange, String routingKey, Map<String,Object> arguments) throws IOException

Parameters: 参数与queueUnbind一致

queuePurge

清空给定队列内容

AMQP.Queue.PurgeOk queuePurge(String queue) throws IOException
basicGet

获取队列中的一条消息

GetResponse basicGet(String queue, boolean autoAck) throws IOException

Parameters:
queue - 队列名
autoAck - 是否需要自动应答

basicAck

应答一条或多条消息。 AMQP.Basic.GetOk 或 AMQP.Basic.Deliver 的方法里提供了传递标签的值(deliveryTag),并且该方法中包含已被应答的消息。

void basicAck(long deliveryTag, boolean multiple) throws IOException

Parameters:
deliveryTag - 来自接收消息的AMQP.Basic.GetOk 或 AMQP.Basic.Deliver 的标签(tag)
multiple - true: 应答所有消息,匹配给定传递标签的消息,false: 只应答匹配给定传递标签的消息。

basicNack

拒绝一条或多条消息

void basicNack(long deliveryTag, boolean multiple, boolean requeue) throws IOException

Parameters:
deliveryTag - 来自接收消息的AMQP.Basic.GetOk 或 AMQP.Basic.Deliver 的标签(tag)
multiple - true: 拒绝所有未被确认的消息,也包括匹配给定传递标签的消息,false: 只拒绝匹配给定传递标签的消息。
requeue - true: 被拒绝的消息会重新进入队列,而不是被丢弃或进入死信队列。如果队列只有一个消费者,消息会被尽可能放入原来的位置;如果队列有多个消费者,消息会被尽可能放入队头的位置。

basicReject

拒绝一条消息

void basicReject(long deliveryTag, boolean requeue) throws IOException

Parameters:
deliveryTag - 来自接收消息的AMQP.Basic.GetOk 或 AMQP.Basic.Deliver 的标签(tag)
requeue - true: 被拒绝的消息会重新进入队列,而不是被丢弃或进入死信队列

basicConsume

启动一个消费者

String basicConsume(String queue, boolean autoAck, String consumerTag, boolean noLocal, boolean exclusive, Map<String,Object> arguments, DeliverCallback deliverCallback, CancelCallback cancelCallback, ConsumerShutdownSignalCallback shutdownSignalCallback) throws IOException

Parameters:
queue - 队列名
autoAck - 消息是否会自动应答
consumerTag - 消费者客户端自动生成,用于建立上下文的标签,区分多个消费者
noLocal - true: 同一个Connection中的生产者和消费者不会互相传递消息。注意RabbitMQ 5.0 版本已不支持这个参数。
exclusive - 是否为排他客户端(消费队列中只允许有当前一个消费者)
arguments - 消费者传递的一些其他参数
deliverCallback - 消费消息的推模式下,消费者接收消息投递的回调函数
cancelCallback - 消费者取消的回调函数(消费者主动调用basicCancel或queueDelete)
shutdownSignalCallback - 通道或连接中断时的回调函数

basicCancel

通过消费者标签,取消一个消费者

void basicCancel(String consumerTag) throws IOException
basicRecover

请求Broker重新发送未应答的消息。

AMQP.Basic.RecoverOk basicRecover(boolean requeue) throws IOException

Parameters:
requeue - true:消息可能传递给不同的消费者

basicQos

限制客户端数据流量

void basicQos(int prefetchSize, int prefetchCount, boolean global) throws IOException

Parameters:
prefetchSize - 消息最大长度,0为无限制
prefetchCount - 消息最大数量,0为无限制
global - true: 设置的参数应用到整个channel的consumer中,false: 应用到单个consumer

5. 要点记录

5.1 日志

日志文件默认在RABBIT_HOME/var/log目录下,如:

$ ls var/log/rabbitmq/
rabbit@bijiadeMacBook-Pro-sasl.log	rabbit@localhost-sasl.log
rabbit@bijiadeMacBook-Pro.log		rabbit@localhost.log

sasl(system application support library系统应用程序支持库)结尾的Log:sasl作为Erlang-OTP发行版的一部分库的集合,记录Erlang运行的相关日志信息,有助于调试无法启动的RabbitMQ节点。
非sasl结尾的Log:RabbitMQ应用服务日志,记录RabbitMQ运行的相关日志。

5.2 消费模式

RabbitMQ有两种消费消息的模式:
推模式
通过持续订阅的方式来消费消息,spring-amqp@RabbitListener消费消息用的就是这种方式。

使用channel.basicConsume

拉模式
单条地获取消息

使用channel.basicGet

5.3 保证消息不丢失方案
  • 消息生产者开启事务机制或者publisher confirm机制,以确保消息可以可靠传输到RabbitMQ中

  • 消息和队列都要持久化处理,以确保RabbitMQ服务器故障时不会丢失消息

  • 消费者要将autoAck设置为false,然后通过手动确认的方式去确认已经正确消费的消息,以避免在消费端引起不必要的消息丢失

  • 备份交换器

如果没有设置mandatory参数,消息在未路由成功的情况下将会丢失;如果设置了mandatory参数,那么需要添加ReturnListener逻辑,生产者的代码将变复杂。
备份交换器可以在不设置mandatory参数的情况下,将未路由的消息存储在RabbitMQ中(未路由成功的消息通过备份交换器,路由到其绑定队列),再在需要的时候去处理这些消息。

通过声明交换器(channel.exchangeDeclare)时添加 alternate-exchange参数 来实现,也可通过Policy(策略)的方式实现,如果两者同时使用,则前者的优先级更高;
如果备份交换器和mandatory参数一同使用,则前者的优先级更高;

  • 死信队列

消息变死信条件:

  1. 消息被拒绝(reject/nack),并且requeue参数为false。
  2. 消息过期。当消息过期时间设为0时,消息路由到的队列如果没有消费者,会立即变成死信,可以解决immediate参数为false时消息丢失的情况。
  3. 队列达到最大长度。
    当队列中存在死信时,RabbitMQ会自动将这个消息发布到设置好的DLX(死信交换器),进而路由到其绑定队列,即死信队列,可以监听此队列的消息进行相应处理。

在channel.queueDeclare中设置 x-dead-letter-exchange参数 为队列添加DLX,设置 x-dead-letter-routing-key参数 指定路由键(如果没有指定则使用原队列的路由键)

5.4 实现延迟队列

rabbitMQ并没有直接提供延迟队列,但我们可以通过设置过期时间和死信队列来模拟实现延迟队列。

  • 一个经典的例子,订单系统中,用户下单后通常有30分钟的时间进行支付,如果30分钟内没有支付成功,那么这个订单将进行异常处理,可以用延迟队列来处理这些订单。
    用户下的订单通过exchange.normal这个交换器将消息发送存储在queue.normal队列中,且将消息的过期时间设为30分钟,消息过期后进入设置好的死信队列queue.dead。消费者会通过订阅对应的死信队列,每消费到一条消息会判断该订单是否支付,没有支付则做关闭订单处理。

  • 用户希望设定家里的智能设备在各自指定的时间工作,可以将指令发送发送到对应过期时间的延迟队列上,到了过期时间,再将指令推送到对应的智能设备。
    可以通过设定多个延迟队列,过期时间分别为5分钟,10分钟,30分钟,1小时,对应时间的指令发送到对应的队列,消息过期即可实现消费者接收到指定延迟时间的消息。

5.5 Spring-amqp的 Confirm And Return

配置启用生产者的发布确认和发布退回机制
spring.rabbitmq.publisher-confirms = true
spring.rabbitmq.publisher-returns = true

分别实现RabbitTemplate中两个接口

/**
 * 确认消息到达Broker时返回ack=true,否则返回ack=true
 */
public interface ConfirmCallback {
    void confirm(CorrelationData correlationData, boolean ack, String cause);

}
/**
 * 需要把mandatory也设为true才会启用此回调,在未路由到任何队列时会调用
 */
public interface ReturnCallback {
    void returnedMessage(Message message, int replyCode, String replyText,
            String exchange, String routingKey);
}

将以上两个实现类注入RabbitTemplate实例中
rabbitTemplate.setReturnCallback(messageReturnCallback);
rabbitTemplate.setConfirmCallback(messageConfirmCallback);

6. 常用命令

rabbitmq-server
rabbitmq-server -detached以守护进程方式启动RabbitMQ服务
rabbitmqctl
rabbitmqctl list_queues列出所有队列
rabbitmqctl purge_queue my_queue清空某一队列
rabbitmqctl status查看当前rabbitmq服务的运行信息
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值