消息中间件简单介绍
消息中间件(消息队列)是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构] 使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
那什么是RabbitMQ呢?
- RabbitMQ是一个由Erlang语言发开的AMQP的开源实现
- AMQP :Advanced Message Queue,高级消息队列协议。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。
- RabbitMQ 最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。具体特点包括:
可靠性(Reliability) | 使用了一些机制来保证可靠性,如持久、传输确认、发布确认 |
灵活性(Flexible Routing) | 在消息进入队列之前,通过Exchange来路由消息,可以将多个Exchange绑定一起 |
消息集群(Clustering) | 多个RabbitMQ服务器开以组成一个集群,形成一个逻辑Broker |
高可用(Highly Available Queues) | 队列可以在集群中机器上进行镜像,使得在部分节点出问题的情况下队列仍可以用 |
多中协议(Multi-protocol) | 支持多种消息队列协议,比如STOMP、MQTT等等 |
多语言客户端(Many Clients) | 几乎支持所有常用语言,比如java、.NET、Ruby等等 |
管理界面(Management UI) | 提供了一个易用的用户界面,使得用户可以监控和管理消息Broker的许多方面 |
跟踪机制(Tracing) | 如果消息异常,RabbitMQ提供了消息跟踪机制,使用者可以找出发生了什么 |
插件机制(Plugin System) | 提供了许多插件,从多方面进行扩展,也可编写自己的插件 |
架构图
主要概念
RabbitMQ Server: 也叫broker server,它是一种传输服务。 他的角色就是维护一条从Producer到Consumer的路线,保证数据能够按照指定的方式进行传输。
Producer: 消息生产者,如图A、B、C,数据的发送方。消息生产者连接RabbitMQ服务器然后将消息投递到Exchange。
Consumer:消息消费者,如图1、2、3,数据的接收方。消息消费者订阅队列,RabbitMQ将Queue中的消息发送到消息消费者。
Exchange:生产者将消息发送到Exchange(交换器),由Exchange将消息路由到一个或多个Queue中(或者丢弃)。Exchange并不存储消息。RabbitMQ中的Exchange有direct、fanout、topic、headers四种类型,每种类型对应不同的路由规则。
Queue:(队列)是RabbitMQ的内部对象,用于存储消息。消息消费者就是通过订阅队列来获取消息的,RabbitMQ中的消息都只能存储在Queue中,生产者生产消息并最终投递到Queue中,消费者可以从Queue中获取消息并消费。多个消费者可以订阅同一个Queue,这时Queue中的消息会被平均分摊给多个消费者进行处理,而不是每个消费者都收到所有的消息并处理。
RoutingKey:生产者在将消息发送给Exchange的时候,一般会指定一个routing key,来指定这个消息的路由规则,而这个routing key需要与Exchange Type及binding key联合使用才能最终生效。在Exchange Type与binding key固定的情况下(在正常使用时一般这些内容都是固定配置好的),我们的生产者就可以在发送消息给Exchange时,通过指定routing key来决定消息流向哪里。RabbitMQ为routing key设定的
长度限制为255bytes。
Connection: (连接):Producer和Consumer都是通过TCP连接到RabbitMQ Server的。以后我们可以看到,程序的起始处就是建立这个TCP连接。
Channels: (信道):它建立在上述的TCP连接中。数据流动都是在Channel中进行的。也就是说,一般情况是程序起始建立TCP连接,第二步就是建立这个Channel。
VirtualHost:权限控制的基本单位,一个VirtualHost里面有若干Exchange和MessageQueue,以及指定被哪些user使用
RabbitMQ安装与启动
(1)选择相应的版本下载并安装
Eralng
(2)下载好后双击安装,
注意不要安装在包含中文和空格的目录下!安装后window服务中就存在rabbitMQ了,并且是启动状态。
(3)安装管理界面(插件):进入rabbitMQ安装目录的sbin目录,输入命令
rabbitmq‐plugins enable rabbitmq_management
|
(4)重新启动服务
(5)打开浏览器,地址栏输入http://127.0.0.1:15672 ,即可看到管理界面的登陆页
![](https://i-blog.csdnimg.cn/blog_migrate/5c76dc1ca14be4125d50e9fc9e548506.png)
输入用户名和密码,都为guest 进入主界面:
![](https://i-blog.csdnimg.cn/blog_migrate/2f0e6db5848615d9fa1735d00ac9bead.png)
RabbitMQ发送与接收消息
直接模式(Direct)
创建队列,名为queue.test
![](https://i-blog.csdnimg.cn/blog_migrate/19f453d7a19a18916b4e3db30c97ebed.png)
代码实现-消息生产者
(1)创建工程rabbitmq_demo,引入依赖 ,pom.xml如下:
<dependency> <groupId>org.springframework.amqp</groupId> <artifactId>spring‐rabbit</artifactId> <version>2.1.4.RELEASE</version> </dependency>
(2)编写配置文件applicationContext-rabbitmq-producer.xml
<?xml version="1.0" encoding="UTF‐8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema‐instance" xmlns:rabbit="http://www.springframework.org/schema/rabbit" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring‐beans.xsd http://www.springframework.org/schema/rabbit http://www.springframework.org/schema/rabbit/spring‐rabbit.xsd"> <!‐‐连接工厂‐‐> <rabbit:connection‐factory id="connectionFactory"
host="127.0.0.1"
port="5672"
username="guest"
password="guest" /> <rabbit:template id="rabbitTemplate" connection‐ factory="connectionFactory" />
</beans>
(3)消息生产者(发送消息)
1 @Test
public void test() { 2 //解析配置文件,从中获取RabbitTemplate对象 3 ApplicationContext context=new ClassPathXmlApplicationContext("applicationContext-rabbitmq-producer.xml"); 4 RabbitTemplate rabbitTemplate= (RabbitTemplate)context.getBean("rabbitTemplate"); 5 //发送消息(queue.test这个队列名称需要在RabbitMQ中手动创建) 6 rabbitTemplate.convertAndSend("","queue.test","直接模式"); 7 System.out.println("消息发送成功"); 8 //关闭对象 9 ((ClassPathXmlApplicationContext) context).close(); 10 }
代码实现、消息消费者
(1)编写消息监听类
1 public class MessageConsumer implements MessageListener { 2 public void onMessage(Message message) { 3 System.out.println("接收到消息:" +new String(message.getBody()) ); 4 } 5 }
(2)创建配置文件applicationContext-rabbitmq-consumer.xml
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rabbit="http://www.springframework.org/schema/rabbit" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/rabbit http://www.springframework.org/schema/rabbit/spring-rabbit.xsd"> <!--连接工厂--> <rabbit:connection-factory id="connectionFactory" host="127.0.0.1" port="5672" username="guest" password="guest"/> <!--队列名称--> <rabbit:queue name="queue.test" /> <!--消费者监听类class为监听类路径--> <bean id="messageConsumer" class="cn.itcast.demo.MessageConsumer"> </bean> <!--设置监听容器--> <rabbit:listener-container connection-factory="connectionFactory"> <rabbit:listener queue-names="queue.test" ref="messageConsumer"/> </rabbit:listener-container> </beans>
(3)编写测试代码Test2
@Test public void test2(){ //运行此方法会自动调用消息监听类,并打印监听到的消息 ApplicationContext context=new ClassPathXmlApplicationContext("applicationContext-rabbitmq-consumer.xml"); }
运行结果
接收到消息:直接模式
分列模式(Fanout)
![](https://i-blog.csdnimg.cn/blog_migrate/c69f4345f2af503737efa91c784f83f2.png)
1.这种模式需要提前将Exchange与Queue进行绑定,一个Exchange可以绑定多个Queue,一个Queue可以同多个Exchange进行绑定。
2.这种模式不需要RouteKey
3.如果接受到消息的Exchange没有与任何Queue绑定,则消息会被抛弃。
代码实现(修改直接模式代码即可)
修改、消息生产者(发送消息)
rabbitTemplate.convertAndSend("exchange.fanout_test","","分列模式走起");
修改消息、消费者配置文件(applicationContext-rabbitmq-consumer.xml)
<!--队列名称--> <rabbit:queue name="queue.test" /> <rabbit:queue name="queue.test1" /> <!--消费者监听类class为监听类路径--> <bean id="messageConsumer" class="cn.itcast.demo.MessageConsumer"></bean> <bean id="messageConsumer1" class="cn.itcast.demo.MessageConsumer1"> </bean> <!--设置监听容器--> <rabbit:listener-container connection-factory="connectionFactory"> <rabbit:listener queue-names="queue.test" ref="messageConsumer"/> <rabbit:listener queue-names="queue.test1" ref="messageConsumer1"/> </rabbit:listener-container>
在增加一个消息监听者类,然后运行测试代码Test2即可
运行结果
我是Message、接收到消息:分列模式走起
我是Message1、接收到消息:分列模式走起
死信交换器 Dead Letter Exchanges
一个消息在满足如下条件下,会进死信路由,记住这里是路由而不是队列,一个路由可以对应很多队列。
(1) 一个消息被Consumer拒收了,并且reject方法的参数里requeue是false。也就是说不会被再次放在队列里,被其他消费者使用。
(2)消息存活时间到了,消息过期了。
(3)队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上。
代码实现
创建配置文件applicationContext-mq.xml(
交换器和队列是自动配置,无需手动配置)
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rabbit="http://www.springframework.org/schema/rabbit" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/rabbit http://www.springframework.org/schema/rabbit/spring-rabbit.xsd"> <!--配置connection-factory,指定连接rabbit server参数 --> <rabbit:connection-factory id="connectionFactory" username="guest" password="guest" host="127.0.0.1" port="5672" publisher-confirms="true"/> <rabbit:admin connection-factory="connectionFactory"></rabbit:admin> <!--创建交换机(过期队列的交换机)--> <rabbit:direct-exchange id="exchange.delay.order.begin" name="exchange.delay.order.begin" durable="false" auto-delete="false"> <rabbit:bindings> <rabbit:binding queue="queue.delay.order.begin" key="delay"/> </rabbit:bindings> </rabbit:direct-exchange> <!-- 延时队列(过期队列) --> <rabbit:queue name="queue.delay.order.begin" durable="false"> <rabbit:queue-arguments> <!-- 设置队列过期时间为1分钟 --> <entry key="x-message-ttl" value="60000" value-type="java.lang.Long"/> <entry key="x-dead-letter-exchange" value="exchange.delay.order.done"/> <entry key="x-dead-letter-routing-key" value="delay"/> </rabbit:queue-arguments> </rabbit:queue> <!--死信交换机定义--> <rabbit:direct-exchange id="exchange.delay.order.done" name="exchange.delay.order.done" durable="false" auto-delete="false"> <rabbit:bindings> <rabbit:binding queue="queue.delay.order.done" key="delay"/> <!-- binding key 相同为 【delay】exchange转发消息到多个队列 --> <!--<rabbit:binding queue="queue.delay.order.done.two" key="delay" />--> </rabbit:bindings> </rabbit:direct-exchange> <rabbit:queue name="queue.delay.order.done" durable="false"/> <rabbit:template id="rabbitTemplate" connection-factory="connectionFactory"/> <!-- 消息接收者 --> <rabbit:listener-container connection-factory="connectionFactory" channel-transacted="false"> <rabbit:listener queues="queue.delay.order.done" ref="orderMessageListener"/> </rabbit:listener-container> <!--创建一个消息监听对象--> <bean class="cn.itcast.demo.MessageConsumer" id="orderMessageListener"></bean> </beans>
创建测试类消息生产者(发送消息)
@Test public void test1() { //解析配置文件,从中获取RabbitTemplate对象 ApplicationContext context=new ClassPathXmlApplicationContext("applicationContext-mq.xml"); RabbitTemplate rabbitTemplate= (RabbitTemplate)context.getBean("rabbitTemplate"); rabbitTemplate.convertAndSend("exchange.delay.order.begin","delay","延时队列模式走起"); System.out.println("消息发送成功"); //关闭对象 ((ClassPathXmlApplicationContext) context).close(); }
创建消息监听器(MessageConsumer)
public class MessageConsumer implements MessageListener { public void onMessage(Message message) { System.out.println("我是Message、接收到消息:" +new String(message.getBody()) ); } }
创建测试类消息消费者
@Test public void test2(){ //运行此方法会自动调用消息监听类,并打印监听到的消息 ApplicationContext context=new ClassPathXmlApplicationContext("applicationContext-mq.xml"); }
运行结果(由于死信队列时间设置为1分钟,所以需要一分钟后才会监听到消息)
我是Message、接收到消息:延时队列模式走起
如何解决消息重复消费
让生产者发送每条数据的时候,里面加一个全局唯一的id,类似订单id之类的东西,然后你这里消费到了之后,先根据这个id去比如redis里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个id写redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可。