1.1 MQ概述
MQ全称 Message Queue,是在消息传输过程中保存消息的容器。多用于分布式系统之间进行通信。
- MQ,消息队列,存储消息的中间件
- 分布式系统通信两种方式:直接远程调用和借助第三方完成间接通信。
- 发送方称为生产者,接收方称为消费者。
优势:
- 应用解耦
- 异步提速
- 削峰填谷
劣势:
- 系统可用性降低: 系统引入的外部依赖越多,系统的稳定性越差。一但MQ宕机,就会对业务造成影响。
如何保证MQ的高可用?
- 系统复杂度提高:MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在通过MQ进行异步调用。
如何保证消息没有被重复消费?怎么处理消息丢失情况?如何保证消息传递的顺序行?
- 一致性问题:A系统处理完业务,通过MQ给B、C、D三个系统发消息数据,如果B系统、C系统处理成功,D系统处理失败。
如何保证消息数据处理的一致性?
使用条件:
- 生产者不需要从消费者处获得反馈。引入消息队列之前的直接调用,其接口的返回值应该为空,这才让明明下层的动作还没做完,上层却当成动作做完了继续往后走,即所谓异步成为了可能。
- 容许短暂的不一致性
- 确实是用了有效果。即解耦、提速、削峰这些方面的收益,超过了加入MQ,管理MQ这些成本。
常见的MQ产品
1.2 RabbitMQ简介
AMQP
,即Advanced Message Queuing Protocol
(高级消息队列协议),是一个网络协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息,并不接受客户端/中间件不同产品,不同的开发语言等条件的限制。2006年,AMQP规范发布。
2007年,Rabbit技术公司基于AMQP标准开发的RabbitMQ 1.0发布。RabbitMQ采用Erlang语言开发。Erlang语言有Ericson设计,专门为开发高并发和分布式系统的一种语言,在电信领域使用广泛。
RabbitMQ基础架构如下
RabbitMQ相关概念:
- Broker:接收和分发消息的应用,RabbitMQ Server就是Message Broker。
- Virtual host:出于多租户和安全因素设计,把AMQP的基础组件划分到一个虚拟的分组中,类似于网络中的namespace概念。当多个不同用户使用同一个RabbitMQ server提供的服务时,可以划分出多个vhost,每个用户在自己的vhost创建exchange/queue等
- Connection:publisher/consumer和broker之间的TCP连接
- Channel:如果每一次访问RabbitMQ都建立一个Connection,在消息量大的时候建立TCP Connection的开销将是巨大的,效率也较低。Channel是在connection内部建立的逻辑连接,如果应用程序支持多线程,通常每个thread创建单独的channel进行通讯,AMQP method包含了channel id帮助客户端和message broker识别channel,所以channel之间是完全隔离的。Channel作为轻量级的Connection几大减少了操作系统建立TCP connection的开销
- Exchange: message到达broker的第一站,根据分发规则,匹配查询表中的routing key,分发消息到queue中。常用的类型有:direct(point-to-point)、topic(publish-subscribe)and fanout(multicast)
- Queue:消息最终被送到这里等待consumer取走
- Binding:exchange和queue质检的虚拟连接,binding中可以包含routing key。Binding信息被保存到exchange中的查询表之中,用于message的分发依据。
RabbitMQ提供了6种工作模式
:
- 简单模式
- work queues
- Publish/Subscribe发布订阅模式
- Routing路由模式
- Topics主题模式
- RPC远程调用模式
JMS
JMS,即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件的API
JMS是Java EE规范中的一种,类比JDBC
很多消息中间件都实现了JMS规范,例如:ActiveMQ。RabbitMQ官方没有提供JMS的实现包,但是开源社区有