原文地址:https://www.jianshu.com/p/79ca08116d57,https://www.cnblogs.com/LipeiNet/p/5973061.html
消息队列之 RabbitMQ(一)
关于消息队列,从前年开始断断续续看了些资料,相携韩久了,但一直没腾出空,近来分别碰到几个朋友聊到这块的技术选型,是时候把这块的知识整理记录一下了。
市面上消息队列产品有很多,比如老牌的 ActiveMQ、RabbitMQ,目前我看最火的 kafka,还有ZeroMQ,去年底阿里巴巴捐赠给 apache 的 RocketMQ,连 redis 这样的 NOSQL 数据库也支持 MQ 功能。总之,这块知名的产品就有十几种,就我自己的使用经验和兴趣只打算谈谈 RabbitMQ、Kafka 和 ActiveMQ,本文先讲 RabbitMQ ,在此之前看下消息队列的相关概念。
什么叫消息队列
消息(Message)是指在应用键传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue)是一种应用建的通信方式,消息发送后可以立即返回,有消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取看,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。
为何用消息队列
从上面的描述中可以看出消息队列是一种应用键的异步协作机制,那什么时候需要使用 MQ 呢?
以常见的订单系统为例,用户点击【下单】按钮之后的业务逻辑可能包括:扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑放在一起同步执行,随着业务的发展订单量增长,需要提升系统服务的性能,这时可以将一些不需要立即生效的凑走拆分开来异步执行,比如发放红包、发短信通知等。这种场景下就可以用 MQ,在下单的主流程(比如扣减库存,生成相应单据)完成之后发送一条消息到 MQ 让主流程快速完结,而由另外的单独线程拉取 MQ 消息(或者由 MQ 推送消息),当发现 MQ 中有发红包或发短信之类的消息时,执行相应的业务逻辑。
以上是用于业务解耦的情况,其它常见场景包括最终一致性、广播、错峰流控等等。
RabbitMQ 特点
RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。
AMQP:Advanced Message Queue ,高级消息队列协议。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。
RabbitMQ 最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。具体特点包括:
-
可靠性(Raliability)
RabbitMQ 使用一些机制来保证可靠性,如持久化、传输确认、发布确认。 -
灵活的路由(Flexible Routing)
在消息进入队列之前,通过 Exchange来路由消息的。对于典型的路由功能,RabbitMQ 已经提供了一些内置的 Exchange 来实现。针对更复杂的路由功能,可以将多个 Exchange 绑定在一起,也通过插件机制实现自己的 Exchange 。 -
消息集群(Clustering)
多个 RabbitMQ 服务器可以组成一个集群,形成一个逻辑 Broker。 -
高可用性(High Available Queues)
队列可以下集群中的机器中进行镜像,使得在部分节点出问题的情况下队列仍然可用。 -
多种协议(Multi-Protocol)
RabbitMQ 支持多种消息队列协议,比如:STOMP、MQTT 等等。 -
多语言客户端(Many Clients)
RabbitMQ几乎支持所有常用语言,比如 Java、.NET、Ruby 等等。 -
管理界面(Management UI)
RabbitMQ 提供了一个易用的用户界面,使得用户可以监控和管理消息 Broker 的许多方面。 -
跟踪机制(Tracing)
如果消息异常,RabbitMQ 提供了消息跟踪机制,使用者可以找出发生了什么。 -
插件机制(Plugin System)
RabbitMQ 提供了许多插件,来从多方面进行扩展,也可以编写自己的插件。
RabbitMQ 中的概念模型
消息模型
所有 MQ产品从模型抽象上来说都是一样的的过程:
消费者(customer)订阅某个队列。生产者(producer)创建消息,然后发布到队列(queue)中,最后将消息发送到监听的消费者。
RabbitMQ 基本概念
上面只是最简单抽象的描述,具体到 RabbitMQ 则有更详细的概念需要解释。上面介绍过 RabbitMQ 是 AMQP 协议的一个开源是实现,所以其内部实际上也是 AMQP 中的基本概念:
-
Message
消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括 routing-key (路由键)、priority(相对于其他消息的优先权)、delivery-mode (指出该消息可能需要持久性存储)等。 -
Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。 -
Exchange
交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。 -
Binding
绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器的消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。 -
Queue
消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的重点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。 -
Connection
网络连接,比如一个TCP 连接。 -
Channel
信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的 TCP 连接内的虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收笑死,这些动作都是通过信道完成的。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。 -
Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。 -
Virtual Host
虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同身份认证和加密环境的独立服务器域。每一个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 的概念的基础,必须在连接时指定,RabbitMQ 默认的是 vhost 是 / 。 -
Broker
表示消息队列服务器实体。
AMQP 中的消息路由
AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别,AMQP 中增加了 Exchange 和 Binding的角色。生产者把消息发布到 Exchange 上,消息最终到达队列并被消费者接收,而 Binding 决定交换器的消息应该发送到那个队列。
Exchange 类型
Exchange 分发消息时根据类型的不同分发策略有区别,目前共四种类型:direct、fanout、topic、headers。headers 匹配 AMQP 消息的 header 而不是路由键,此外 headers 交换器和 direct 交换器完全一致,但性能差很多,目前几乎用不到了,所以直接看另外三种类型:
direct
消息中的路由键(routing key)如果和Binding中的 binding key 一致,交换器就将消息发到对应的队列中。路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为 “dog”,则只转发 routing key 标记为 “dog”的消息,不会转发 “dog.puppy”,也不会转发 “dog.guard” 等等。它是完全匹配、单播的模式。
fanout
每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键,只是简单的将队列绑定到交换器上,每个发送到交换器的消息都会转发到该交换器绑定的所有队列上。很像子网广播,每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
topic
topic 交换器通过模式匹配分配消息的路由键属性,将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词,这些单词之间用电隔开。它同样也会识别两个通配符:符号“#”和符号“”。#匹配0个或多个单词,匹配不多不少一个单词。
RabbitMQ 安装
一般来说安装 RabbitMQ 之前要安装 Erlang,可以去 Erlang 官网下载。接着去 RabbitMQ 官网下载安装包,之后解压缩即可。根据操作系统不同官网提供了相应的安装说明 :Windows、Debian / Ubuntu、RPM-based Linux、Mac
Windows 下安装
第一步:软件安装
如果安装 RabbitMQ 首先安装基于 erlang 语言支持的 OTP 软件,然后在下载 RabbitMQ 软件进行安装(安装过程都下一步,在此不在说了)
第二步:环境变量配置
如果上面完成安装以后要进行环境变量的配置,首先配置 ERLANG_HOME 如下图(变量值就是你按照 otp 软件的路径)
然后在配置RABBITMQ_SERVER如下图(变量值是rabbitMQ的安装路径)
最后进行 path 的配置如下图(path的值为;%ERLANG_HOME%\bin;%RABBITMQ_SERVER%\sbin;注意是追加)
第三步:启动监控管理器
找到你安装 RabbitMQ 的路径看,然后切换到 sbin 的文件夹
输入rabbitmq-plugins enable rabbitmq_management命令来启动监控管理器
然后在浏览器输入 http:localhost:15672 用户名和密码默认都为guest。
这样一来我们就安装好了。
第四步:RabbitMQ 常用的命令
启动监控管理器:rabbitmq-plugins enable rabbitmq_management
关闭监控管理器:rabbitmq-plugins disable rabbitmq_management
启动rabbitmq:rabbitmq-service start
关闭rabbitmq:rabbitmq-service stop
查看所有的队列:rabbitmqctl list_queues
清除所有的队列:rabbitmqctl reset
关闭应用:rabbitmqctl stop_app
启动应用:rabbitmqctl start_app
用户和权限设置(后面用处)
添加用户:rabbitmqctl add_user username password
分配角色:rabbitmqctl set_user_tags username administrator
新增虚拟主机:rabbitmqctl add_vhost vhost_name
将新虚拟主机授权给新用户:rabbitmqctl set_permissions -p vhost_name username ‘.*’ ‘.*’ ‘.*’
角色说明
none 最小权限角色
management 管理员角色
policymaker 决策者
monitoring 监控
administrator 超级管理员