step05 day05 rabbitmq消息队列原理

1 RabbitMQ简介

1.1 RabbitMQ概念

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

RabbitMQ提供一个异步通信机制，消息的发送者不必一直等待到消息被成功处理才返回，而是立即返回。消息中间件负责处理网络通信，如果网络连接不可用，消息被暂存于队列当中，当网络畅通的时候在将消息转发给相应的应用程序或者服务，当然前提是这些服务订阅了该队列。如果在商品服务和订单服务之间使用消息中间件，既可以提高并发量，又降低服务之间的耦合度。

1.2  RabbitMQ 使用场景

服务解耦

说明：随着我们的应用规模不断扩大,会有更多的服务需要A的数据,如果有几十甚至几百个下游服务,而且会不断变更,再加上还要考虑下游服务出错的情况,那么A服务中调用代码的维护会极为困难，这是由于服务之间耦合度过于紧密，因而我们考虑用RabbitMQ解耦的情况，只需要向消息服务器发送消息,而不用考虑谁需要这些数据;下游服务如果需要数据,自行从消息服务器订阅消息,不再需要数据时，则取消订阅即可

流量削峰

说明：当服务在同一时段内发送的请求过多，而导致服务列表的信息出现过多时，会运用消息队列逐批发送请求，从而达到流量削峰的目的。

异步调用

如果请求的时间过长，使得服务长时间难以返回，可以使用消息队列分割其中耗时小的部分，再将耗时多的用户交给其他模块进行执行

 1.3  RabbitMQ界面及安装测试

1.3.1 准备工作

准备docker镜像：

克隆 centos-8 或 centos-7： docker-base

2. 设置ip   ./ip-static   ip: 192.168.64.150    检测命令 ifconfig

3. 安装 docker，参考csdn笔记

   - 上传离线安装文件，不用按照笔记在线下载

   - DevOps课前资料\docker\docker-install 文件夹   上传到 /root/

准备docker-rabbitMQ虚拟机：

1. 从 docker-base 克隆： rabbitmq

2. 设置ip  ./ip-static   ip: 192.168.64.140   ifconfig

3. 按照笔记用docker运行 rabbitmq   过程中需要联网下载 rabbitmq 的镜像

方式1：离线安装

下载离线安装包文件

• rabbitmq-install.zip_rabbitmq-其它工具类资源-CSDN下载

上传离线安装包

• rabbitmq-install 目录上传到 /root

切换到rabbitmq-install目录

cd rabbitmq-install

安装

rpm -ivh *.rpm

方式2：在线安装

在线下载镜像

docker pull rabbitmq:management

docker images 查看镜像

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

重启 docker 系统服务，添加配置文件

systemctl restart docker

mkdir /etc/rabbitmq

vim /etc/rabbitmq/rabbitmq.conf

# 添加两行配置：
default_user = admin
default_pass = admin

启动容器

docker run -d --name rabbit \
-p 5672:5672 \
-p 15672:15672 \
-v /etc/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-e RABBITMQ_CONFIG_FILE=/etc/rabbitmq/rabbitmq.conf \
rabbitmq:management

访问测试

测试网址：http://192.168.64.140:15672     用户名密码都是 admin

2.rabbbitMq界面及特性

2.1 rabbitmq界面

 说明：rabbit消息队列的界面包含了rabbitmq的一些基本功能，包括消息队列，交换机，连接队列和管理权限等。

具体的说明如下：

1. connect 连接，配置了连接的一些电脑机

 2.Channel 消息队列，展示了消息的一些队列

 3.Exchange 交换机 ，转发请求的展示界面

 admin 权限管理

 2.2 RabbitMq六种工作模式

2.2.1 简单模式

简单模式是指只有一个消费者的模式，也是最为基础的模式。

RabbitMQ是一个消息中间件，你可以想象它是一个邮局。当你把信件放到邮箱里时，能够确信邮递员会正确地递送你的信件。RabbitMq就是一个邮箱、一个邮局和一个邮递员。

• 发送消息的程序是生产者
• 队列就代表一个邮箱。虽然消息会流经RbbitMQ和你的应用程序，但消息只能被存储在队列里。队列存储空间只受服务器内存和磁盘限制，它本质上是一个大的消息缓冲区。多个生产者可以向同一个队列发送消息，多个消费者也可以从同一个队列接收消息.
• 消费者等待从队列接收消息

 代码实现

生产者发送消息

public class Test1 {
	public static void main(String[] args) throws Exception {
		//创建连接工厂,并设置连接信息
		ConnectionFactory f = new ConnectionFactory();
		f.setHost("192.168.64.140");
		f.setPort(5672);//可选,5672是默认端口
		f.setUsername("admin");
		f.setPassword("admin");

		Connection c = f.newConnection();
		//建立信道
		Channel ch = c.createChannel();

		ch.queueDeclare("helloworld", false,false,false,null);

		ch.basicPublish("", "helloworld", null, "Hello world!".getBytes());

		System.out.println("消息已发送");
		c.close();
	}
}

消费者接受消息

public class Test2 {
	public static void main(String[] args) throws Exception {
		//连接工厂
		ConnectionFactory f = new ConnectionFactory();
		f.setHost("192.168.64.140");
		f.setUsername("admin");
		f.setPassword("admin");
		//建立连接
		Connection c = f.newConnection();
		//建立信道
		Channel ch = c.createChannel();
		//声明队列,如果该队列已经创建过,则不会重复创建
		ch.queueDeclare("helloworld",false,false,false,null);
		System.out.println("等待接收数据");
		//收到消息后用来处理消息的回调对象
		DeliverCallback callback = new DeliverCallback() {
			@Override
			public void handle(String consumerTag, Delivery message) throws IOException {
				String msg = new String(message.getBody(), "UTF-8");
				System.out.println("收到: "+msg);
			}
		};
		
		//消费者取消时的回调对象
		CancelCallback cancel = new CancelCallback() {
			@Override
			public void handle(String consumerTag) throws IOException {
			}
		};
		
		ch.basicConsume("helloworld", true, callback, cancel);
	}
}

2.2.2 工作者模式

 

工作队列(即任务队列)背后的主要思想是避免立即执行资源密集型任务，并且必须等待它完成。相反，我们将任务安排在稍后完成。

我们将任务封装为消息并将其发送到队列。后台运行的工作进程将获取任务并最终执行任务。当运行多个消费者时，任务将在它们之间分发。

使用任务队列的一个优点是能够轻松地并行工作。如果我们正在积压工作任务，我们可以添加更多工作进程，这样就可以轻松扩展。
 

生产者发送消息

这里模拟耗时任务,发送的消息中,每个点使工作进程暂停一秒钟

消费者接收消息

同基本模式

消息确认

一个消费者接收消息后,在消息没有完全处理完时就挂掉了,那么这时会发生什么呢?

为了确保消息不会丢失，rabbitmq支持消息确认(回执)。当一个消息被消费者接收到并且执行完成后，消费者会发送一个ack (acknowledgment) 给rabbitmq服务器, 告诉他我已经执行完成了，你可以把这条消息删除了。

c.basicAck(message.getEnvelope().getDeliveryTag(),false);
System.out.println("--------------消息处理结束");

说明：加入在传输方法后

合理地分发
rabbitmq会一次把多个消息分发给消费者, 这样可能造成有的消费者非常繁忙, 而其它消费者空闲. 而rabbitmq对此一无所知, 仍然会均匀的分发消息

我们可以使用 basicQos(1) 方法, 这告诉rabbitmq一次只向消费者发送一条消息, 在返回确认回执前, 不要向消费者发送新消息. 而是把消息发给下一个空闲的消费者
 

        //每次只收一条消息，处理完之前不收下一条
        c.basicQos(1);
        //接受消息，收到的消息会传递到一个回调对象去处理
        c.basicConsume("task_queue", true,deliverCallback, cancelCallback);

消息持久化

当rabbitmq关闭时, 我们队列中的消息仍然会丢失, 除非明确要求它不要丢失数据

要求rabbitmq不丢失数据要做如下两点: 把队列和消息都设置为可持久化(durable)

 2.2,3 发布订阅者模式

 

为了说明该模式，我们将构建一个简单的日志系统。它将由两个程序组成——第一个程序将发出日志消息，第二个程序接收它们。

在我们的日志系统中，接收程序的每个运行副本都将获得消息。这样，我们就可以运行一个消费者并将日志保存到磁盘; 同时我们可以运行另一个消费者在屏幕上打印日志。

最终, 消息会被广播到所有消息接受者
 

 Exchanges 交换机

有几种可用的交换类型:direct、topic、header和fanout。我们将关注最后一个——fanout。让我们创建一个这种类型的交换机，并称之为 logs: ch.exchangeDeclare("logs", "fanout");

fanout交换机非常简单。它只是将接收到的所有消息广播给它所知道的所有队列。这正是我们的日志系统所需要的。

绑定 Bindings

 我们已经创建了一个fanout交换机和一个队列。现在我们需要告诉exchange向指定队列发送消息。exchange和队列之间的关系称为绑定。

2.2.4 路由模式

知识脑图

绑定 Bindings

在上一节，我们已经创建了队列与交换机的绑定。使用下面这样的代码:

直连交换机 Direct exchange

fanout交换机，不能满足业务的需求，我们将用直连交换机(Direct exchange)代替。它背后的路由算法很简单——消息传递到bindingKey与routingKey完全匹配的队列。

多重绑定 Multiple bindings

使用相同的bindingKey绑定多个队列是完全允许的。如图所示，可以使用binding key black将X与Q1和Q2绑定。

2.2.5  主题模式

在上一小节，我们改进了日志系统。我们没有使用只能进行广播的fanout交换机，而是使用Direct交换机，从而可以选择性接收日志。

虽然使用Direct交换机改进了我们的系统，但它仍然有局限性——它不能基于多个标准进行路由。

在本例中，我们将发送描述动物的消息。这些消息将使用由三个单词(两个点)组成的routingKey发送。routingKey中的第一个单词表示速度，第二个是颜色,第三个是物种:“<速度>.<颜色>.<物种>”。

我们创建三个绑定:Q1与bindingKey “*.orange.*” 绑定。和Q2是 “*.*.rabbit” 和 “lazy.#” 。

这些绑定可概括为:

Q1对所有橙色的动物感兴趣。
Q2想接收关于兔子和慢速动物的所有消息。

2.2.5  prc模式

如果我们需要在远程电脑上运行一个方法，并且还要等待一个返回结果该怎么办？这和前面的例子不太一样, 这种模式我们通常称为远程过程调用,即RPC.

在本节中，我们将会学习使用RabbitMQ去搭建一个RPC系统：一个客户端和一个可以升级(扩展)的RPC服务器。为了模拟一个耗时任务，我们将创建一个返回斐波那契数列的虚拟的RPC服务。

客户端

在客户端定义一个RPCClient类,并定义一个call()方法,这个方法发送一个RPC请求,并等待接收响应结果

回调队列 Callback Queue

使用RabbitMQ去实现RPC很容易。一个客户端发送请求信息，并得到一个服务器端回复的响应信息。为了得到响应信息，我们需要在请求的时候发送一个“回调”队列地址。

关联id (correlationId)：

在上面的代码中，我们会为每个RPC请求创建一个回调队列。 这是非常低效的，这里还有一个更好的方法:让我们为每个客户端创建一个回调队列。

小结

RPC的工作方式是这样的:

对于RPC请求，客户端发送一条带有两个属性的消息:replyTo,设置为仅为请求创建的匿名独占队列,和correlationId,设置为每个请求的惟一id值。
请求被发送到rpc_queue队列。
RPC工作进程(即:服务器)在队列上等待请求。当一个请求出现时，它执行任务,并使用replyTo字段中的队列将结果发回客户机。
客户机在回应消息队列上等待数据。当消息出现时，它检查correlationId属性。如果匹配请求中的值，则向程序返回该响应数据。

virtual host
在RabbitMQ中叫做虚拟消息服务器VirtualHost，每个VirtualHost相当于一个相对独立的RabbitMQ服务器，每个VirtualHost之间是相互隔离的。exchange、queue、message不能互通

创建virtual host: /pd
进入虚拟机管理界面

• 添加新的虚拟机’/pd’,名称必须以"/"开头

设置虚拟机的用户访问权限

点击 /pd 虚拟主机, 设置用户 admin 对它的访问权限