常用的消息中间件RabbitMQ

解耦应用：通过使用RabbitMQ作为中间件，可以将不同的应用程序或服务分离开来，使得它们之间不再直接通信。这样可以降低系统各部分之间的依赖性，提高系统的可维护性和扩展性。
异步处理：RabbitMQ支持异步消息传递，这意味着发送者和接收者不必同时在线。发送者可以将消息发送到队列中，而接收者可以在稍后的时间处理这些消息。这种方式有助于提高系统的响应速度和吞吐量。
负载均衡：当有多个消费者同时监听一个队列时，RabbitMQ会自动将消息负载均衡地分配给这些消费者。这有助于平均分配工作负载，避免单个消费者过载。
临时存储：在系统故障或过载的情况下，RabbitMQ可以暂时存储无法立即处理的消息。一旦系统恢复正常，这些消息可以被重新处理。
系统解耦、异步处理、并发操作、流量削峰等。

RabbiMQ特点

可靠性

扩展性

高可用性

多种协议

多语言客户端

管理界面

插件机制

RabbitMQ模式

        (1)单⼀模式。

        (2)普通模式(默认的集群模式)。

        (3) 镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于RabbiMQ的HA⽅案，在对业务可靠性要求较⾼的场合中⽐较适⽤)。要实现镜像模式，需要先搭建⼀个普通集群模式，在这个模式的基础上再配置镜像模式以实现⾼可⽤。

集群基本概念

RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。如果在投递消息时，打开了消息的持久化，那么即使是内存节点，数据还是安全的放在磁盘。

一个rabbitmq集群中可以共享 user，vhost，queue，exchange等，所有的数据和状态都是必须在所有节点上复制的。

ConnectionFactory（连接管理器）：应用程序与Rabbit之间建立连接的管理器，程序代码中使用；
Channel（信道）：消息推送使用的通道；
Exchange（交换器）：用于接受、分配消息；
Queue（队列）：用于存储生产者的消息；
RoutingKey（路由键）：用于把生成者的数据分配到交换器上；
BindingKey（绑定键）：用于把交换器的消息绑定到队列上；
Broker：简单来说就是消息队列服务器实体
vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离.
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
user:用户

集群中的两种节点

        1 内存节点：只保存状态到内存（一个例外的情况是：持久的queue的持久内容将被保存到disk）

        2 磁盘节点：保存状态到内存和磁盘。

推荐

内存节点虽然不写入磁盘，但是它执行比磁盘节点要好。集群中，只需要一个磁盘节点来保存状态就足够了

        如果集群中只有内存节点，那么不能停止它们，否则所有的状态，消息等都会丢失。

RabbiMQ集群部署实例

1、准备环境

注：这⾥三台服务器都联⽹，另外RabbitMQ集群节点必须在同⼀⽹段⾥，如果是跨⼴域⽹，效果会变差。关闭防火墙和selinux

三台机器分别为：

10.12.153.133 rabbitmq-1

10.12.153.71 rabbitmq-2

10.12.153.72 rabbitmq-3

互相在/etc/hosts内做好域名解析

2、三个节点配置安装rabbitmq软件

rabbitmq 和erlang兼容版本
https://www.rabbitmq.com/which-erlang.html

注：所有机器都操作

erlang 版本选择

rabbitmq/erlang - Packages · packagecloud

1）安装依赖
# yum install -y epel-release gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel


2）安装erlang
# curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

这里我们示例erlang-21.3.8.21-1.el7.x86_64版本
# yum install erlang-21.3.8.21-1.el7.x86_64

测试：

# erl

成功回显如下

3）安装rabbitmq

rabbitmq 版本选择

Tags · rabbitmq/rabbitmq-server · GitHub

这里我们选择rabbitmq-server-3.7.10-1.el7

下载源码包并安装

4）启动

方法一：

# systemctl daemon-reload
# systemctl start rabbitmq-server
# systemctl enable rabbitmq-server


方式二:
# /sbin/service rabbitmq-server status  ---查看状态
# /sbin/service rabbitmq-server start   ---启动

5）开启rabbitmq的web访问界面：

rabbitmq-plugins enable rabbitmq_management

3、创建用户

注意:在一台机器操作

添加用户和密码

# rabbitmqctl add_user ztn  123456

设置为管理员

# rabbitmqctl set_user_tags ztn administrator

查看用户

# rabbitmqctl list_users

设置权限

此处设置权限时注意'.*'之间需要有空格三个'.*'分别代表了conf权限，read权限与write权限

例如：当没有给newrain设置这三个权限前是没有权限查询队列，在ui界面也看不见

# rabbitmqctl set_permissions -p "/" ztn ".*" ".*" ".*"

4、开启用户远程登录:

注：所有机器都操作

 cd /etc/rabbitmq/

备份配置文件

 cp /usr/share/doc/rabbitmq-server-3.7.10/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

 vim rabbitmq.config
修改如下:

这里注意原文后面有个逗号也要删掉！

三台机器都操作后重启服务服务:

systemctl restart rabbitmq-server

5、查看端口

端口解析

5672: 这是RabbitMQ服务器监听AMQP 0-9-1协议的默认端口，用于客户端连接和消息队列通信。这是一个不加密的连接，适用于不需要安全传输的环境。
15672: 这个是RabbitMQ管理界面的默认端口，允许用户通过Web界面来监控和管理RabbitMQ服务器。
25672: 该端口与Erlang分布式系统相关，用于Erlang节点间的通信。

！注意如果是云服务器，切记添加安全组端口放行。

6、测试

浏览器访问ip：15672

注意：

rabbitmq默认管理员用户:guest 密码:guest

我们刚才新添加的用户为:ztn 密码:123456

登录后页面

7、部署集群

注：三台机器都操作

mkdir -p /data/rabbitmq/data
mkdir -p /data/rabbitmq/logs
chmod 777 -R /data/rabbitmq
chown rabbitmq.rabbitmq /data/ -R

创建配置文件:

vim /etc/rabbitmq/rabbitmq-env.conf
加入以下内容
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs

重启服务

systemctl restart rabbitmq-server

2)拷⻉erlang.cookie

Rabbitmq的集群是依附于erlang的集群来⼯作的,所以必须先构建起erlang的集群景象。Erlang的集群中

各节点是经由过程⼀个magic cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie中，⽂件是400的权限。所以必须保证各节点cookie⼀致,不然节点之间就⽆法通信.

文件位置：

（官方在介绍集群的文档中提到过.erlang.cookie 一般会存在这两个地址：第一个是home/.erlang.cookie；第二个地方就是/var/lib/rabbitmq/.erlang.cookie。如果我们使用解压缩方式安装部署的rabbitmq，那么这个文件会在{home}目录下，也就是$home/.erlang.cookie。如果我们使用rpm等安装包方式进行安装的，那么这个文件会在/var/lib/rabbitmq目录下。）

cat /var/lib/rabbitmq/.erlang.cookie

⽤scp的⽅式将rabbitmq-1节点的.erlang.cookie的值复制到其他两个节点中

scp /var/lib/rabbitmq/.erlang.cookie root@10.12.153.71:/var/lib/rabbitmq/
scp /var/lib/rabbitmq/.erlang.cookie root@10.12.153.72:/var/lib/rabbitmq/

3)将mq-2、mq-3作为内存节点加⼊mq-1节点集群中

在mq-2、mq-3执⾏如下命令：
mq-2:

systemctl restart rabbitmq-server


rabbitmqctl stop_app  #停止节点


rabbitmqctl reset   #如果有数据需要重置，没有则不用


rabbitmqctl join_cluster --ram root@rabbitmq-1  #添加到磁盘节点


rabbitmqctl start_app  #启动节点

======================================================================
mq-3:

systemctl restart rabbitmq-server


rabbitmqctl stop_app


rabbitmqctl reset


rabbitmqctl join_cluster --ram rabbit@rabbitmq-1

rabbitmqctl start_app

（1）默认rabbitmq启动后是磁盘节点，在这个cluster命令下，mq-2和mq-3是内存节点，
mq-1是磁盘节点。
（2）如果要使mq-2、mq-3都是磁盘节点，去掉--ram参数即可。
（3）如果想要更改节点类型，可以使⽤命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbit应⽤
注:
#如果有需要使用磁盘节点加入集群

rabbitmqctl join_cluster  rabbit@rabbitmq-1


rabbitmqctl join_cluster  rabbit@rabbitmq-1

8、查看集群状态

在 RabbitMQ 集群任意节点上执行 rabbitmqctl cluster_status来查看是否集群配置成功。

rabbitmqctl cluster_status

每台机器显示出三台节点，表示已经添加成功！

        （1）默认rabbitmq启动后是磁盘节点，在这个cluster命令下，mq-2和mq-3是内存节点，mq-1是磁盘节点。
        （2）如果要使mq-2、mq-3都是磁盘节点，去掉--ram参数即可。
        （3）如果想要更改节点类型，可以使用命令rabbitmqctl change_cluster_node_type disc(ram),前提是必须停掉
rabbit应用
在RabbitMQ集群集群中，必须⾄少有⼀个磁盘节点，否则队列元数据⽆法写⼊到集群中，当磁盘节点宕掉时，集群将⽆法写⼊新的队列元数据信息。

9、测试浏览器访问ip:15672

根据界⾯提示创建⼀条队列

RabbitMQ镜像集群配置

上面已经完成RabbitMQ默认集群模式，但并不保证队列的高可用性，尽管交换机、绑定这些可以复制到集群里的任何一个节点，但是队列内容不会复制。但队列节点宕机直接导致该队列无法应用，只能等待重启，所以要想在队列节点宕机或故障也能正常应用，就要复制队列内容到集群里的每个节点，必须要创建镜像队列。

镜像队列是基于普通的集群模式的，然后再添加一些策略，所以还是得先配置普通集群，然后才能设置镜像队列，我们就以上面的集群接着做。保证各个节点之间数据同步；

创建镜像集群:

rabbitmq-1执行

rabbitmqctl set_permissions "ztn" ".*" ".*" ".*"

后面三个”*”代表用户拥有配置、写、读全部权限

三台机器一块执行

rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'

"-p Vhost" :vhost名称， "^"匹配所有的队列， ha-all 策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点，包含新增节点。

再次查看队列已经同步到其他两台节点

镜像队列策略设置说明

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]

-p Vhost：可选参数，针对指定vhost下的queue进行设置
Name: policy的名称
Pattern: queue的匹配模式(正则表达式)
Definition：镜像定义，包括三个部分ha-mode, ha-params, ha-sync-mode
ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
all：表示在集群中所有的节点上进行镜像
exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
ha-params：ha-mode模式需要用到的参数
ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
priority：可选参数，policy的优先级

实验创建一个vhost，并给用户权限添加队列

注意:创建用户的时候tags指定的从下面的选项中选择用户的类型，如管理员之类的。

再新添加一条队列

在第一台服务器中执行以下命令

rabbitmqctl set_policy -p ztn-rabbit  ha-all "^" '{"ha-mode":"all"}'

创建好以后就会自动同步到其他

安装并配置负载均衡器HAProxy

注意：如果使用阿里云，可以使用阿里云的内网slb来实现负载均衡，不用自己搭建HA。

1、在rabbitmq-1服务器上安装HAProxy

yum -y install haproxy

2、修改 /etc/haproxy/haproxy.cfg

备份配置文件

cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak

编辑配置文件

vim /etc/haproxy/haproxy.cfg

global
   log         127.0.0.1 local2
<200b>
   chroot      /var/lib/haproxy
   pidfile     /var/run/haproxy.pid
   maxconn     4000
   user        haproxy
   group       haproxy
   nbproc      4
   daemon
   # turn on stats unix socket
   stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
defaults
   mode                    http
   log                     global
   retries                 3
   timeout connect         10s
   timeout client          1m
   timeout server          1m
   timeout check           10s
   maxconn                 2048
#---------------------------------------------------------------------
##监控查看本地状态#####
listen admin_stats
       bind *:80
   mode http
   option httplog
   option httpclose
   log 127.0.0.1 local0 err
   stats uri  /haproxy
   stats auth ztn:123456 #注意用户密码
   stats refresh 30s
####################################
###反代监控
frontend server
   bind *:5670
   log global

   mode tcp
   #option forwardfor
   default_backend rabbitmq
   maxconn 3
backend rabbitmq
   mode        tcp
   log         global
   balance     roundrobin
   server      rabbitmq1 10.12.153.133:5672 check inter 2000s rise 2 fall 3
   server      rabbitmq2 10.12.153.71:5672 check inter 2000s rise 2 fall 3
   server      rabbitmq3 10.12.153.72:5672 check inter 2000s rise 2 fall 3

3、启动haproxy

systemctl start haproxy

4、浏览器输入10.12.153.133/haproxy查看rabbitmq的状态。

5、输入账号密码登录

rabbitmq的常见命令

插件管理

开启某个插件：rabbitmq-plugins enable xxx
关闭某个插件：rabbitmq-plugins disable xxx
注意：重启服务器后生效。

virtual_host管理

新建virtual_host:rabbitmqctl add_vhost xxx
撤销virtual_host:rabbitmqctl delete_vhost xxx

用户管理

新建用户：rabbitmqctl add_user xxxpwd
删除用户: rabbitmqctl delete_user xxx
查看用户：rabbitmqctl list_users
改密码: rabbimqctl change_password {username} {newpassword}
设置用户角色：rabbitmqctlset_user_tags {username} {tag ...}
Tag可以为 administrator,monitoring, management

其他使用命令：

rabbitmq使用命令:
rabbitmq-plugins list ----查看安装的插件
rabbitmq-server -detached -----------启动RabbitMQ节点
rabbitmqctl start_app ----------启动RabbitMQ应用，而不是节点
rabbitmqctl stop_app ------停止
rabbitmqctl status ------查看状态
rabbitmqctl add_user mq 123456 -------设置用户和密码
rabbitmqctl set_user_tags mq administrator ------------------新增账户并设置为管理员
rabbitmq-plugins enable rabbitmq_management --------------------启用RabbitMQ_Management
rabbitmqctl cluster_status -------------------集群状态
rabbitmqctl forget_cluster_node rabbit@rabbit3 -------------------节点摘除
rabbitmqctl reset application----------------------重置
rabbitmqctl set_permissions -p "/" 123456 ".*" ".*" ".*" --------------授权
---------------------
查看Connection，Queue，Channel,User

rabbitmqctl list_connections #列出所有连接
rabbitmqctl list_queues #列出所有队列
rabbitmqctl list_channels #列出所有通道
rabbitmqctl list_users #列出所有用户
---------------------

设置节点类型
如果你想更换节点类型可以通过命令修改，如下：

rabbitmqctl stop_app
rabbitmqctl change_cluster_node_type dist
rabbitmqctl change_cluster_node_type ram
rabbitmqctl start_app
===================================================
移除节点
如果想要把节点从集群中移除，可使用如下命令实现：

rabbitmqctl stop_app
rabbitmqctl restart
rabbitmqctl start_app
=============================================
集群重启顺序
集群重启的顺序是固定的，并且是相反的。如下所述：

启动顺序：磁盘节点 => 内存节点
关闭顺序：内存节点 => 磁盘节点

最后关闭必须是磁盘节点，不然可能回造成集群启动失败、数据丢失等异常情况。

希望能够帮助到大家！！

藻头男

关注

16
点赞
踩
17

收藏

觉得还不错? 一键收藏
打赏
0
评论
常用的消息中间件RabbitMQ

可靠性扩展性高可用性多种协议多语言客户端管理界面插件机制(1)单⼀模式。(2)普通模式(默认的集群模式)。(3) 镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于RabbiMQ的HA⽅案，在对业务可靠性要求较⾼的场合中⽐较适⽤)。要实现镜像模式，需要先搭建⼀个普通集群模式，在这个模式的基础上再配置镜像模式以实现⾼可⽤。RabbitMQ的集群节点包括。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。
复制链接

扫一扫