RabbitMQ实战教程
1.MQ引言
1.1 什么是MQ
MQ (Message Queue): 翻译为消息队列,通过典型的生产者和消费者模型,生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦。别名为消息中间件通过利用 高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。
1.2MQ有哪些
当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ, 炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。
1.3 不同MQ的特点
1. ActiveMQ
ActiveMQ是Apache出品, 最流行的,能力强劲的开源消息总线。它是一-个完全 支持JMS规范的的消息中间件。丰富的API,多种集群架构模式让ActiveMQ在业界成为老牌的消息中间件,在中小型企业颇受欢迎! ! 吞吐量不高。
2. Kafka
Kafka是L inkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特 点是基于Pu11的模式来处理消息消费,
追求高吞吐量,一开始的目的就是用于日志收集和传输。θ .8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
优点:拥有强大的性能及吞吐量,兼容性很好
缺点:由于“攒一波再处理”导致延迟比较高,有可能消息重复消费
3. RocketMQ
RocketMQ是阿里开源的消息中间件,它是纯Java开发, 具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起
源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、bing1og分发等场景。收费。
优点:性能好,稳定可靠,有活跃的中文社区,特点响应快
缺点:兼容性较差,但随意影响力的扩大,该问题会有改善
4. RabbitMQ
Rabbi tMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和
发布/订阅)、可靠性、 安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其
次。 一致 稳定 可靠性
优点:轻量,迅捷,容易部署和使用,拥有灵活的路由配置
缺点:性能和吞吐量较差,不易进行二次开发
RabbitMQ比Kafka可靠,Kafka更适 合10高吞吐的处理,一-般应用在大数据 日志处理或对实时性(少量延迟),可靠性 (少量丢数据)要求稍低的场景使用,比如ELK日志收集。
2.RabbitMQ的引言
2.1 RabbitMQ
基于AMQP协议,erlang语言开发,是部署最广泛的开源消息中间件,是最受欢迎的开源消息中间件之一。
官网地址: http://www.rabbitmq.com/
AMQP协议
AMQP (advanced message queuing protocol)、 在2003年时被提出, 最早用于解决金融领不同平台之间的消息传递交互问题。顾名思义,AMQP是一 种协议,更准确的说是一种binary wire-level protocol (链接协议)。这是其和JMS的本质差别,AMQP不认API层进行限定, 而是直接定义网络交换的数据格式。这使得实现了AMQP的provider天然性就是跨平台的。以下是AMQP协议模型:
2.2RabbitMQ的安装
2.2.1 下载
官网地址: http://www.rabbitmq.com/
安装借鉴
2.2.2 下载的安装包
2.2.3 安装的步骤
https://blog.csdn.net/summation/article/details/100055809
# 1.将rabbitmq安装包 上传到1inux系统中
erlang-22.0.7-1.e17 .x86. _64. rpm
rabbitmq-server-3.7. 18-1. el7.noarch. rpm
# 2.安装Erlang依赖包
rpm -ivh erlang-22.0.7-1.el7.x86. 64. rpm
# 3.安装Rabbi tMQ安装包(需要联网)
yum install -y rabbitmq-server-3.7.18-1.el7.noarch.rpm
注意:默认安装完成后配置文件模板在:/usr /share/doc/ rabbi tmq-server-3.7.18/ rabbi tmq . config. example目录中,需要将配置文件复制到/etc/rabbi tmq/目录中,并修改名称为r abbi tmq . config
# 4.复制配置文件
cCp /usr/share/doc/ rabbi tmq-seFver-3.7.18/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
# 5.查看配置文件位置
1s /etc/ rabbitmq/rabbitmq.config
# 6.修改配置文件(参见下图:)
vim /etc/rabbitmq/ rabbitmq.config
将上图中配置文件中的红色部分去掉%%,以及最后的,逗号,修改为下图:
7.执行如下命令,启动rabbitmq中的插件管理
rabbitmq-plugins enable rabbitmq. management
出现如下说明:
Enabling plugins on node rabbit@localhost:
rabbitmq_ management
The following plugins have been configured:
rabbitmq. management
rabbitmq. management_ agent
rabbitmq_ web_ dispatch
Applying plugin configuration to rabbit@localhost...
The following plugins have been enabled:
rabbitmq_ management
rabbitmq. management _ agent
rabbitmq_ _web_ dispatch
set 3 plugins.
offline change; changes will take effect at broker restart .
8.启动RabbitMQ的服务
systemctl start rabbitmq-server
出现如下说明:
Enabling plugins on node rabbit@localhost:
r abbitmq_ management
The following plugins have been conf igured:
rabbi tmq. management
rabbi tmq. management_ agent
rabbitmq_ web_ dispatch
Applying plugin configuration to rabbit@localhost...
The following plugins have been enabled:
r abbitmq_ management
rabbi tmq. management _ agent
rabbitmq_ _web_ dispatch
set 3 plugins.
offline change; changes will take effect at broker restart .
8.启动RabbitMQ的服务
systemctl start rabbitmq-server
systemctl restart rabbitmq- server
systemctl stop rabbit- server
9.查看服务状态(见下图:)
systemctl status rabbi tmq-server
●rabbitmq-server . service - RabbitMQ broker
Loaded: loaded ( /usr /1ib/systemd/ sys tem/ r abbitmq-server . service; disabled; vendor preset: disabled)
Active: active (running) since 三2019-09-25 22:26:35 CST; 7s ago
Main PID: 2904 (beam. smp)
Status:” Initialized"
10.关闭防火墙服务
systemctl disable firewalld,
Removed symlink /etc/ systemd/ system/multi-user . target . wants/firewalld. service.
Removed symlink /etc/systemd/system/ dbus-org. fedoraproject . FirewallD1. service .
systemctl stop firewalld
11.访问web管理界面
http://自己的IP:15672/
用户名 密码 都是 guest
3.RabbitMQ配置
3.1 RabbitMQ管理命令行
# 1.服务启动相关
systemctl startlrestart|stop Istatus rabbitmq-server
# 2.管理命令行用来在不使用web管理 界面情况下命令操作RabbitHQ
rabbitmqctl help 可以查看更多命令
# 3.插件管理命令行
rabbitmqplugins enable llist Idisable
4.RibbitMQ的第一个程序
4.1 RabbitMQ支持的消息模型:
3.7.x 支持1 -6 3.5.x 支持1-5 3.8.x 支持1-7
4.2 引入依赖
<dependency>
<groupId>com.rabbitmq</groupId>
<artifactId>amqp-client</artifactId>
<version>5.7.2</version>
</dependency>
public class RabbitMQUtils {
private static ConnectionFactory connectionFactory;
static {
//重量资源 类加载只执行一次
connectionFactory = new ConnectionFactory();
//设置连接rabbitmq的主机
connectionFactory.setHost("39.96.42.195");
//设置端口号
connectionFactory.setPort(5672);
//设置连接那个虚拟主机
connectionFactory.setVirtualHost("/ems");
//设置访问虚拟主机的用户名
connectionFactory.setUsername("ems");
//设置访问虚拟主机的密码
connectionFactory.setPassword("123");
}
//定义提供连接对象的方法
public static Connection getConnection() {
try {
return connectionFactory.newConnection();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
//关闭通道和关闭连接工具的方法
public static void closeConnectionAndChannel(Channel channel, Connection connection) {
try {
if (channel != null) {
channel.close();
}
if (connection != null) {
connection.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
第一种模型(直连)
在上图的模型中,有以下概念:
-
P:生产者,也就是要发送消息的程序
-
C:消费者:消息的接受者,会一直等待消息到来。
-
queue:消息队列,图中红色部分。类似一个邮箱,可以缓存消息;生产者向其中投递消息,消费者从其中取出消息。
1.开发生产者
//1. 创建一个连接mq的connectionFactory连接工厂
ConnectionFactory connectionFactory = new ConnectionFactory();
//配置信息
//设置连接rabbitmq的主机
connectionFactory.setHost("39.96.42.195");
//设置端口号
connectionFactory.setPort(5672);
//设置连接那个虚拟主机
connectionFactory.setVirtualHost("/ems");
//设置访问虚拟主机的用户名
connectionFactory.setUsername("ems");
//设置访问虚拟主机的密码
connectionFactory.setPassword("123");
//2.通过连接工厂创建连接 获取连接对象
Connection connection = connectionFactory.newConnection();
//3 获取连接中的通道
Channel channel = connection.createChannel();
//4 通过channel 发送数据
String message = "hello RabbitMQ";
/**
* 通道绑定对应的消息队列
* @see com.rabbitmq.client.AMQP.Queue.Declare
* @see com.rabbitmq.client.AMQP.Queue.DeclareOk
* @param queue 队列的名称,如果不存在要自动创建
* @param durable 用来定义队列的特性是否要持久化 true 持久化队列 false 不持久化队列
* @param exclusive 是否独占队列 true 独占队列 false 不独占
* @param autoDelete 是否在消费完成后自动删除队列 true 自动删除 false 不自动删除
* @param arguments 额外的附加参数
* @return a declaration-confirm method to indicate the queue was successfully declared
* @throws java.io.IOException if an error is encountered
*/
channel.queueDeclare("hello", false, false, false, null);
/**
*发布消息
* @param exchange 交换机名称
* @param routingKey 路由键
* @param props 传递消息的额外设置
* @param body 消息的具体内容
* @throws java.io.IOException if an error is encountered
*/
channel.basicPublish("", "hello", null, message.getBytes());
//关闭连接
channel.close();
connection.close();
2.消费者
//1. 创建一个connectionFactory
ConnectionFactory connectionFactory = new ConnectionFactory();
//配置信息
connectionFactory.setHost("39.96.42.195");
connectionFactory.setPort(5672);
connectionFactory.setVirtualHost("/ems");
connectionFactory.setUsername("ems");
connectionFactory.setPassword("123");
//2.通过连接工厂创建连接
Connection connection = connectionFactory.newConnection();
//3 通过 connection 创建一个 channel
Channel channel = connection.createChannel();
// 通道绑定对象
String queueName = "hello";
channel.queueDeclare(queueName, false, false, false, null);
/**
* 消费消息
* @param queue 消费哪个队列的消息 队列名称
* @param autoAck 开启消息的队列确认机制
* @param callback 消费时的回调接口
* @return the consumerTag generated by the server
*/
channel.basicConsume(queueName, true, new DefaultConsumer(channel){
//最后一个参数: 消息队列中取出的消息
@Override
public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
System.out.println("new String(body) = " + new String(body));
}
});
//关闭(因为一直监听,不建议关闭)
// channel.close();
// connection.close();
第二种模型:
Work queues, 也被称为(Task queues) ,任务模型。当消息处理比较耗时的时候,可能生产消息的速度会远远大于消息的消费速度。长此以往,消息就会堆积越来越多,无法及时处理。此时就可以使用work模型:**让多个消费者绑定到一一个队列,共同消费队列中的消息。**队列中的消息一旦消费, 就会消失,因此任务是不会被重复执行的。
角色:
●P:生产者:任务的发布者
●C1:消费者-1,领取任务并且完成任务,假设完成速度较慢
●C2:消费者-2:领取任务并完成任务,假设完成速度快
生产者:
public static void main(String[] args) throws IOException {
//获取链接对象
Connection connection = RabbitMQUtils.getConnection();
//获取通道对象
Channel channel = connection.createChannel();
//通过通道声明队列
channel.queueDeclare("work", true