文章目录
1.RabbitMQ基本概念
1.1 概述
我们这里使用的消息服务是 RabbitMQ,其是一种在模块间传递数据的工具,主要作用就是作为消息传递的中转服务;消息服务在分布式系统中是非常重要的传统服务,已经存在几十年了,其发展已经十分成熟,常用的消息中间件有很多(RabbitMQ ,ActiveMQ,kafka,RocketMQ,TubeMQ等),RabbitMQ是SpringCloud默认支持的消息中间键,在大数据中,常用的是kafka消息中间件,如果对于性能要求特别高,访问量特别大,也可以选择阿里的RocketMQ;
其主要用于处理来自客户端的异步消息。服务端将要发送的消息放入到队列池中。接收端可以根据RabbitMQ配置的转发机制接收服务端发来的消息。RabbitMQ依据指定的转发规则进行消息的转发、缓冲和持久化操作,主要用在多服务器间或单服务器的子系统间进行通信,是分布式系统标准的配置。
1.2 Exchange
接受生产者发送的消息,并根据Binding规则将消息路由给服务器中的队列。ExchangeType决定了Exchange路由消息的行为。在RabbitMQ中,ExchangeType常用的有direct、Fanout和Topic三种。
1.3 Message Queue
消息队列。我们发送给RabbitMQ的消息最后都会到达各种queue,并且存储在其中(如果路由找不到相应的queue则数据会丢失),等待消费者来取。
1.4 Binding Key
它表示的是Exchange与Message Queue是通过binding key进行联系的,这个关系是固定。
Routing Key
生产者在将消息发送给Exchange的时候,一般会指定一个routing key,来指定这个消息的路由规则。这个routing key需要与Exchange Type及binding key联合使用才能生,我们的生产者只需要通过指定routing key来决定消息流向哪里。
2.搭建docker环境
2.1 消息中间件
nacos 的配置文件内容是动态的实时刷新的,其依靠长连接实现,建立了一个长时间保持的,不断开的连接,只要配置中心内容变更保存后,相应的服务便可以下载更新配置内容,每隔30秒,这个长连接就会断开一次重新建立一个新的连接;
但是配置中心的配置刷新需要我们手动刷新,为了避免配置更新导致的故障不会实时的立即刷新配置,只实现了启动时动态的刷新配置,在修改配置内容时,不用关闭启动服务,可以直接修改后动态的获取新的配置内容进行配置的刷新;
配置中心会通过bus-refresh
向消息中间件(消息队列)发送指令,然后消息中间键向服务转发这些指令由服务模块接受,服务模块收到指令后执行刷新配置内容的动作;
2.2 搭建docker服务器
我们需要在VMware虚拟机中搭建docker服务器,首先我们将虚拟机子网IP改为192.168.46.0
,如果无法修改,点击右下角的获取管理员权限即可;
更改完成后加载虚拟机,解压之后导入到虚拟机中(如需要虚拟机压缩文件请私信),双击后缀为.vmx
的文件:
双击后会自动导入到VMware,导入后点击启动此虚拟机,选择我已复制:
登录名与密码都是root,此虚拟机中做了一些基础配置,配置了阿里的yum安装源和拓展安装源,安装了python,pip,ansible,并且安装了俩个脚本文件,用来设置ip地址(ip-static:用来设置固定IP,ip-dhcp:用来设置自动获取IP),直接在主目录下使用ls
命令可以看到俩个脚本文件,使用./ip-dhcp
命令来执行脚本文件,执行后使用ifconfig
来查看自动分配的ip地址是否正确:
这里如果设置不成功,大概率是网卡问题,根据安装的虚拟机版本选择下方的命令执行后重新设置网络即可:
# centos 7 禁用 NetworkManager 系统服务
systemctl stop NetworkManager
systemctl disableNetworkManager
# centos 8 开启 VMware 托管
nmcli n on
systemctl restart NetworkManager
还是无法解决的话,就恢复默认值,重新配置;
还需要测试虚拟机与宿主机之间的网络是否连接,在虚拟机中使用ping 192.168.64.2
:
在windows的cmd窗口中使用ipconfig/all
查看虚拟机的ip地址。并ping虚拟机地址查看是否连接正常:
2.3 克隆虚拟机
我们将虚拟机关机后克隆一个虚拟机并命名为docker-bash。用来创建一个纯净的docker虚拟机,只用来安装docker:
直接全部下一步,命名为docker-base即可;
2.4 安装docker
登录docker-base虚拟机之后,查看其IP地址:
然后在使用mobaxterm连接此地址:
在root目录下,创建docker-install目录将docker离线安装包拉进去,也可以通过在线安装方式进行安装:
在docker-install目录下,执行下面的命令进行安装:
chmod +x install.sh
./install.sh -f docker-20.10.6.tgz
2.5 添加国内镜像仓库
由于国内网络问题,需要配置加速器来加速。
修改配置文件 /etc/docker/daemon.json
下面命令直接生成文件 daemon.json
cat <<EOF > /etc/docker/daemon.json
{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com"
],
"max-concurrent-downloads": 10,
"log-driver": "json-file",
"log-level": "warn",
"log-opts": {
"max-size": "10m",
"max-file": "3"
},
"data-root": "/var/lib/docker"
}
EOF
之后重新启动服务:
# 重新加载docker配置
sudo systemctl daemon-reload
#重启docker服务
sudo systemctl restart docker
2.6 测试
我们使用下面的命令检查安装是否成功:
docker info
docker run hello-world
3.RabbitMQ 使用场景
3.1 服务解耦
假设有这样一个场景, 服务A产生数据, 而服务B,C,D需要这些数据, 那么我们可以在A服务中直接调用B,C,D服务,把数据传递到下游服务即可但是,随着我们的应用规模不断扩大,会有更多的服务需要A的数据,如果有几十甚至几百个下游服务,而且会不断变更,再加上还要考虑下游服务出错的情况,那么A服务中调用代码的维护会极为困难,这是由于服务之间耦合度过于紧密耦合;
再来考虑用RabbitMQ解耦的情况,A服务只需要向消息服务器发送消息,而不用考虑谁需要这些数据;下游服务如果需要数据,自行从消息服务器订阅消息,不再需要数据时则取消订阅即可解耦;
3.2 流量削峰
假设我们有一个应用,平时访问量是每秒300请求,我们用一台服务器即可轻松应对
而在高峰期,访问量瞬间翻了十倍,达到每秒3000次请求,那么单台服务器肯定无法应对,这时我们可以考虑增加到10台服务器,来分散访问压力,但如果这种瞬时高峰的情况每天只出现一次,每次只有半小时,那么我们10台服务器在多数时间都只分担每秒几十次请求,这样就有点浪费资源了;
这种情况,我们就可以使用RabbitMQ来进行流量削峰,高峰情况下,瞬间出现的大量请求数据,先发送到消息队列服务器,排队等待被处理,而我们的应用,可以慢慢的从消息队列接收请求数据进行处理,这样把数据处理时间拉长,以减轻瞬时压力
这是消息队列服务器非常典型的应用场景:流量销峰
3.3异步调用
考虑定外卖支付成功的情况
支付后要发送支付成功的通知,再寻找外卖小哥来进行配送,而寻找外卖小哥的过程非常耗时,尤其是高峰期,可能要等待几十秒甚至更长
这样就造成整条调用链路响应非常缓慢
而如果我们引入RabbitMQ消息队列,订单数据可以发送到消息队列服务器,那么调用链路也就可以到此结束,订单系统则可以立即得到响应,整条链路的响应时间只有200毫秒左右
寻找外卖小哥的应用可以以异步的方式从消息队列接收订单消息,再执行耗时的寻找操作
4.搭建rabbitmq环境
4.1 虚拟机设置
首先我们从docker-bash克隆虚拟机,一直下一步,最后并重命名为rabbitmq即可:
打开虚拟机后,在虚拟机中执行./ip-static
脚本文件,并在脚本文件中执行ip:192.168.64.140
命令,设置虚拟机的ip地址,并通过ifconfig
检查设置后的地址;
4.2 安装rabbitmq
首先我们在Mobaxterm中新建SSH连接:
4.2.1 在线安装
- 下载镜像,rabbitmq:management 镜像中已经安装了管理界面
docker pull rabbitmq:management
- 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 重启 docker 系统服务
systemctl restart docker
- 配置管理员用户名和密码
mkdir /etc/rabbitmq
vim /etc/rabbitmq/rabbitmq.conf
# 添加两行配置:
default_user = admin
default_pass = admin
- 启动Rabbitmq
docker run -d --name rabbit \
-p 5672:5672 \
-p 15672:15672 \
-v /etc/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-e RABBITMQ_CONFIG_FILE=/etc/rabbitmq/rabbitmq.conf \
--restart=always \
rabbitmq:management
- 访问管理控制台:
http://192.168.64.140:15672
,用户名密码是admin
4.2.2 本地离线文件安装
- 上传本地rabbit-image.gz文件到/root目录
- 执行
docker load -i rabbit-image.gz
命令 - 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 重启 docker 系统服务
systemctl restart docker
- 配置管理员用户名和密码
mkdir /etc/rabbitmq
vim /etc/rabbitmq/rabbitmq.conf
# 添加两行配置:
default_user = admin
default_pass = admin
- 启动Rabbitmq
docker run -d --name rabbit \
-p 5672:5672 \
-p 15672:15672 \
-v /etc/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
-e RABBITMQ_CONFIG_FILE=/etc/rabbitmq/rabbitmq.conf \
--restart=always \
rabbitmq:management
- 访问管理控制台:
http://192.168.64.140:15672
,用户名密码是admin
4.3 rabbitmq管理界面
# 开启管理界面插件
rabbitmq-plugins enable rabbitmq_management
# 防火墙打开 15672 管理端口
firewall-cmd --zone=public --add-port=15672/tcp --permanent
firewall-cmd --reload
重启RabbitMQ服务
systemctl restart rabbitmq-server
访问
访问服务器的15672端口,例如:http://192.168.64.140:15672
添加用户
# 添加用户
rabbitmqctl add_user admin admin
# 新用户设置用户为超级管理员
rabbitmqctl set_user_tags admin administrator
设置访问权限
用户管理参考:https://www.cnblogs.com/AloneSword/p/4200051.html
开放客户端连接端口
# 打开客户端连接端口
firewall-cmd --zone=public --add-port=5672/tcp --permanent
firewall-cmd --reload
主要端口介绍
- 4369 – erlang发现口
- 5672 – client端通信口
- 15672 – 管理界面ui端口
- 25672 – server间内部通信口
5.RabbitMQ 原生API测试环境准备
-
新建rabbitmq工程
-
在工程下创建rabbitmq-api模块
-
添加pom依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>cn.study</groupId>
<artifactId>rabbitmq-api</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>com.rabbitmq</groupId>
<artifactId>amqp-client</artifactId>
<version>5.4.3</version>
</dependency>
</dependencies>
</project>
设置JDK与编译版本: