RabbitMQ集群

RabbitMQ集群

RabbitMQ简介

RabbiMQ是Erlang语言开发的消息队列中间件，Erlang语言天生就是分布式语言，支持高并发，支持可扩展。支持AJAX，持久化，用于在分布式系统中存储转发消息。在易用性、扩展性、高可用性等方面表现不俗，但不支持负载均衡。

---

RabbitMQ模式大概分为以下三种：
(1)单机模式。
(2)普通模式：默认的集群模式。
(3) 镜像模式：把需要的队列做成镜像队列，存在于多个节点，属于RabbiMQ的HA方案，在对业务可靠性要求较高的场合中比较适合。要实现镜像模式，需要先搭建出普通集群模式，在这个模式的基础上再配置镜像模式以实现高可用。

RabbitMQ集群的概念
RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。
一个rabbitmq集 群中可以共享 user，vhost，queue，exchange等，所有的数据和状态都是必须在所有节点上复制。

---

Broker：消息队列服务器实体
ConnectionFactory（连接管理器）：应用程序与Rabbit之间建立连接的管理器，程序代码中使用；
Exchange（交换器）：用于接受、分配消息；
Routing Key：路由关键字，exchange根据这个关键字进行消息投递；
Queue（队列）：用于存储生产者的消息；
Bindding：绑定，把exchange和queue按照路由规则绑定起来。
vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
channel：（信道）消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。消息推送使用的通道；

RabbitMQ的部署

准备三台干净的机器，关闭防火墙和SELinux
修改主机名，并做解析
192.168.226.128 rabbitmq1
192.168.226.129 rabbitmq2
192.168.226.130 rabbitmq3

#三台机器都做如下操作，方便一会集群搭建
[xiaobai@rabbitmq1] yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

#链接有时会不管用多下几次
[xiaobai@rabbitmq1] wget --content-disposition https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-20.3-1.el7.centos.x86_64.rpm/download.rpm
[xiaobai@rabbitmq1] wget https://dl.bintray.com/rabbitmq/all/rabbitmq-server/3.7.5/rabbitmq-server-3.7.5-1.el7.noarch.rpm

#我这里本地有包，直接上传
[xiaobai@rabbitmq1] ls
erlang-20.3-1.el7.centos.x86_64.rpm  rabbitmq-server-3.7.5-1.el7.noarch.rpm

#得到这两个包后用yum命令，会失败多试几次加载一下yum源就好了
[xiaobai@rabbitmq1] yum -y install erlang-20.3-1.el7.centos.x86_64.rpm
[xiaobai@rabbitmq1] yum -y install rabbitmq-server-3.7.5-1.el7.noarch.rpm
#yum下载不了的就用rpm
[xiaobai@rabbitmq1] rpm -ivh erlang-20.3-1.el7.centos.x86_64.rpm 
[xiaobai@rabbitmq1] rpm -ivh rabbitmq-server-3.7.5-1.el7.noarch.rpm

#启动方式1
[xiaobai@rabbitmq1] systemctl daemon-reload
[xiaobai@rabbitmq1] systemctl start rabbitmq-server
[xiaobai@rabbitmq1] systemctl enable rabbitmq-server
[xiaobai@rabbitmq1] systemctl status rabbitmq-server

#启动方式2
[xiaobai@rabbitmq1] /sbin/service rabbitmq-server status
[xiaobai@rabbitmq1] /sbin/service rabbitmq-server start

[xiaobai@rabbitmq1] rabbitmq-plugins enable rabbitmq_management   #开启web访问界面

#添加用户xiaobai，密码为little
[xiaobai@rabbitmq1] rabbitmqctl add_user xiaobai little
Adding user "xiaobai" ...

#将xiaobai用户设置为管理员
[xiaobai@rabbitmq1] rabbitmqctl set_user_tags xiaobai administrator
Setting tags for user "xiaobai" to [administrator] ...

#查看所有用户
[xiaobai@rabbitmq1] rabbitmqctl list_users
Listing users ...
xiaobai	[administrator]
guest	[administrator]

#三个'.*'分别代表了conf权限，read权限与write权限
#设置xiaobai是没有权限查询队列
[xiaobai@rabbitmq1] rabbitmqctl set_permissions -p "/" xiaobai ".*" ".*" ".*"
Setting permissions for user "xiaobai" in vhost "/" ...

#三台机器开启用户远程登录
[xiaobai@rabbitmq1] cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
[xiaobai@rabbitmq1] vim /etc/rabbitmq/rabbitmq.config

[xiaobai@rabbitmq1] systemctl restart rabbitmq-server
[xiaobai@rabbitmq1] netstat -lntp
tcp        0      0 0.0.0.0:4369            0.0.0.0:*               LISTEN      77518/epmd          
tcp6       0      0 :::4369                 :::*                    LISTEN      77518/epmd     
tcp        0      0 0.0.0.0:25672           0.0.0.0:*               LISTEN      77336/beam.smp      
tcp        0      0 0.0.0.0:15672           0.0.0.0:*               LISTEN      77336/beam.smp      
tcp6       0      0 :::5672                 :::*                    LISTEN      77336/beam.smp       

#4369 -- erlang端口
#5672 --程序连接端口
#15672 -- 管理界面ui端口
#25672 -- server间内部通信端口

登录用户默认是guest 密码为guest
我们添加的用户为xiaobai 密码为little

RabbitMQ集群部署

#三台机器都操作
[xiaobai@rabbitmq1] mkdir -p /data/rabbitmq/data
[xiaobai@rabbitmq1] mkdir -p /data/rabbitmq/logs
[xiaobai@rabbitmq1] chmod 777 -R /data/rabbitmq
[xiaobai@rabbitmq1] chown rabbitmq.rabbitmq /data/ -R
[xiaobai@rabbitmq1] vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
[xiaobai@rabbitmq1] systemctl restart rabbitmq-server

#给rabbitmq2和rabbitmq3机器拷贝
[xiaobai@rabbitmq1] scp /var/lib/rabbitmq/.erlang.cookie root@192.168.226.129:/var/lib/rabbitmq/

#以下操作只在rabbitmq2和rabbitmq3上操作
#Rabbitmq的集群是依附于erlang的集群来工作的,所以必须先构建起erlang的集群。
#Erlang的集群中各节点是经由各个cookie来实现的。
#cookie存放在/var/lib/rabbitmq/.erlang.cookie中。
#文件是400的权限。所以必须保证各节点cookie一致,不然节点之间就无法通信
[xiaobai@rabbitmq2] rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq2 ...   #正常反馈，无报错
#如果执行这一步报错了，需要执行以下两步
#[xiaobai@rabbitmq1] chmod 400 .erlang.cookie
#[xiaobai@rabbitmq1] chown rabbitmq.rabbitmq .erlang.cookie
[xiaobai@rabbitmq2] rabbitmqctl reset
Resetting node 'rabbit@rabbitmq-3' ...
[xiaobai@rabbitmq2] rabbitmqctl join_cluster --ram rabbit@rabbitmq1
Clustering node 'rabbit@rabbitmq-3' with 'rabbit@rabbitmq-1' ...
[xiaobai@rabbitmq2] rabbitmqctl start_app
Starting node 'rabbit@rabbitmq-3' ...
 completed with 3 plugins.

__________________________________________________
（1）默认rabbitmq启动后是磁盘节点，在这个cluster命令下，mq-2和mq-3是内存节点，
mq-1是磁盘节点。
（2）如果要使mq-2、mq-3都是磁盘节点，去掉--ram参数即可。
（3）如果想要更改节点类型，可以使用命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbitmq应用
注:
#如果有需要使用磁盘节点加入集群
#[root@rabbitmq2] rabbitmqctl join_cluster  rabbit@rabbitmq1
 _______________________________________________

#在 RabbitMQ 集群任意节点上执行 rabbitmqctl cluster_status来查看是否集群配置成功
[xiaobai@rabbitmq1] rabbitmqctl cluster_status

---

---

RabbitMQ镜像集群

上面已经完成RabbitMQ默认集群模式，但并不保证队列的高可用性，队列内容不会复制。如果队列节点宕机直接导致该队列无法应用，只能等待重启，所以要想在队列节点宕机或故障也能正常应用，就要复制队列内容到集群里的每个节点，必须要创建镜像队列。镜像队列要基于普通的集群模式。

#创建镜像集群:在任意一台机器操作
[xiaobai@rabbitmq1] rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...
# "^"匹配所有的队列
# ha-all 策略名称为ha-all
# '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点，包含新增节点。

______________________________________________
rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost： 可选参数，针对指定vhost下的queue进行设置
Name: policy的名称，可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition：镜像定义，包括三个部分ha-mode, ha-params, ha-sync-mode
    ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
        all：表示在集群中所有的节点上进行镜像
        exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
        nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
    ha-params：ha-mode模式需要用到的参数
    ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
______________________________________________

文章总览分类目录 @小白