RabbitMQ集群
RabbitMQ简介
RabbiMQ是Erlang语言开发的消息队列中间件,Erlang语言天生就是分布式语言,支持高并发,支持可扩展。支持AJAX,持久化,用于在分布式系统中存储转发消息。在易用性、扩展性、高可用性等方面表现不俗,但不支持负载均衡。
RabbitMQ模式大概分为以下三种:
(1)单机模式。
(2)普通模式:默认的集群模式。
(3) 镜像模式:把需要的队列做成镜像队列,存在于多个节点,属于RabbiMQ的HA方案,在对业务可靠性要求较高的场合中比较适合。要实现镜像模式,需要先搭建出普通集群模式,在这个模式的基础上再配置镜像模式以实现高可用。
RabbitMQ集群的概念
RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存,磁盘节点将数据放在磁盘。
一个rabbitmq集 群中可以共享 user,vhost,queue,exchange等,所有的数据和状态都是必须在所有节点上复制。
Broker:消息队列服务器实体
ConnectionFactory(连接管理器):应用程序与Rabbit之间建立连接的管理器,程序代码中使用;
Exchange(交换器):用于接受、分配消息;
Routing Key:路由关键字,exchange根据这个关键字进行消息投递;
Queue(队列):用于存储生产者的消息;
Bindding:绑定,把exchange和queue按照路由规则绑定起来。
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:(信道)消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。消息推送使用的通道;
RabbitMQ的部署
准备三台干净的机器,关闭防火墙和SELinux
修改主机名,并做解析
192.168.226.128 rabbitmq1
192.168.226.129 rabbitmq2
192.168.226.130 rabbitmq3
#三台机器都做如下操作,方便一会集群搭建
[xiaobai@rabbitmq1] yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
#链接有时会不管用多下几次
[xiaobai@rabbitmq1] wget --content-disposition https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-20.3-1.el7.centos.x86_64.rpm/download.rpm
[xiaobai@rabbitmq1] wget https://dl.bintray.com/rabbitmq/all/rabbitmq-server/3.7.5/rabbitmq-server-3.7.5-1.el7.noarch.rpm
#我这里本地有包,直接上传
[xiaobai@rabbitmq1] ls
erlang-20.3-1.el7.centos.x86_64.rpm rabbitmq-server-3.7.5-1.el7.noarch.rpm
#得到这两个包后用yum命令,会失败多试几次加载一下yum源就好了
[xiaobai@rabbitmq1] yum -y install erlang-20.3-1.el7.centos.x86_64.rpm
[xiaobai@rabbitmq1] yum -y install rabbitmq-server-3.7.5-1.el7.noarch.rpm
#yum下载不了的就用rpm
[xiaobai@rabbitmq1] rpm -ivh erlang-20.3-1.el7.centos.x86_64.rpm
[xiaobai@rabbitmq1] rpm -ivh rabbitmq-server-3.7.5-1.el7.noarch.rpm
#启动方式1
[xiaobai@rabbitmq1] systemctl daemon-reload
[xiaobai@rabbitmq1] systemctl start rabbitmq-server
[xiaobai@rabbitmq1] systemctl enable rabbitmq-server
[xiaobai@rabbitmq1] systemctl status rabbitmq-server
#启动方式2
[xiaobai@rabbitmq1] /sbin/service rabbitmq-server status
[xiaobai@rabbitmq1] /sbin/service rabbitmq-server start
[xiaobai@rabbitmq1] rabbitmq-plugins enable rabbitmq_management #开启web访问界面
#添加用户xiaobai,密码为little
[xiaobai@rabbitmq1] rabbitmqctl add_user xiaobai little
Adding user "xiaobai" ...
#将xiaobai用户设置为管理员
[xiaobai@rabbitmq1] rabbitmqctl set_user_tags xiaobai administrator
Setting tags for user "xiaobai" to [administrator] ...
#查看所有用户
[xiaobai@rabbitmq1] rabbitmqctl list_users
Listing users ...
xiaobai [administrator]
guest [administrator]
#三个'.*'分别代表了conf权限,read权限与write权限
#设置xiaobai是没有权限查询队列
[xiaobai@rabbitmq1] rabbitmqctl set_permissions -p "/" xiaobai ".*" ".*" ".*"
Setting permissions for user "xiaobai" in vhost "/" ...
#三台机器开启用户远程登录
[xiaobai@rabbitmq1] cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
[xiaobai@rabbitmq1] vim /etc/rabbitmq/rabbitmq.config
[xiaobai@rabbitmq1] systemctl restart rabbitmq-server
[xiaobai@rabbitmq1] netstat -lntp
tcp 0 0 0.0.0.0:4369 0.0.0.0:* LISTEN 77518/epmd
tcp6 0 0 :::4369 :::* LISTEN 77518/epmd
tcp 0 0 0.0.0.0:25672 0.0.0.0:* LISTEN 77336/beam.smp
tcp 0 0 0.0.0.0:15672 0.0.0.0:* LISTEN 77336/beam.smp
tcp6 0 0 :::5672 :::* LISTEN 77336/beam.smp
#4369 -- erlang端口
#5672 --程序连接端口
#15672 -- 管理界面ui端口
#25672 -- server间内部通信端口
登录用户默认是guest 密码为guest
我们添加的用户为xiaobai 密码为little
RabbitMQ集群部署
#三台机器都操作
[xiaobai@rabbitmq1] mkdir -p /data/rabbitmq/data
[xiaobai@rabbitmq1] mkdir -p /data/rabbitmq/logs
[xiaobai@rabbitmq1] chmod 777 -R /data/rabbitmq
[xiaobai@rabbitmq1] chown rabbitmq.rabbitmq /data/ -R
[xiaobai@rabbitmq1] vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
[xiaobai@rabbitmq1] systemctl restart rabbitmq-server
#给rabbitmq2和rabbitmq3机器拷贝
[xiaobai@rabbitmq1] scp /var/lib/rabbitmq/.erlang.cookie root@192.168.226.129:/var/lib/rabbitmq/
#以下操作只在rabbitmq2和rabbitmq3上操作
#Rabbitmq的集群是依附于erlang的集群来工作的,所以必须先构建起erlang的集群。
#Erlang的集群中各节点是经由各个cookie来实现的。
#cookie存放在/var/lib/rabbitmq/.erlang.cookie中。
#文件是400的权限。所以必须保证各节点cookie一致,不然节点之间就无法通信
[xiaobai@rabbitmq2] rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq2 ... #正常反馈,无报错
#如果执行这一步报错了,需要执行以下两步
#[xiaobai@rabbitmq1] chmod 400 .erlang.cookie
#[xiaobai@rabbitmq1] chown rabbitmq.rabbitmq .erlang.cookie
[xiaobai@rabbitmq2] rabbitmqctl reset
Resetting node 'rabbit@rabbitmq-3' ...
[xiaobai@rabbitmq2] rabbitmqctl join_cluster --ram rabbit@rabbitmq1
Clustering node 'rabbit@rabbitmq-3' with 'rabbit@rabbitmq-1' ...
[xiaobai@rabbitmq2] rabbitmqctl start_app
Starting node 'rabbit@rabbitmq-3' ...
completed with 3 plugins.
__________________________________________________
(1)默认rabbitmq启动后是磁盘节点,在这个cluster命令下,mq-2和mq-3是内存节点,
mq-1是磁盘节点。
(2)如果要使mq-2、mq-3都是磁盘节点,去掉--ram参数即可。
(3)如果想要更改节点类型,可以使用命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbitmq应用
注:
#如果有需要使用磁盘节点加入集群
#[root@rabbitmq2] rabbitmqctl join_cluster rabbit@rabbitmq1
_______________________________________________
#在 RabbitMQ 集群任意节点上执行 rabbitmqctl cluster_status来查看是否集群配置成功
[xiaobai@rabbitmq1] rabbitmqctl cluster_status
RabbitMQ镜像集群
上面已经完成RabbitMQ默认集群模式,但并不保证队列的高可用性,队列内容不会复制。如果队列节点宕机直接导致该队列无法应用,只能等待重启,所以要想在队列节点宕机或故障也能正常应用,就要复制队列内容到集群里的每个节点,必须要创建镜像队列。镜像队列要基于普通的集群模式。
#创建镜像集群:在任意一台机器操作
[xiaobai@rabbitmq1] rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...
# "^"匹配所有的队列
# ha-all 策略名称为ha-all
# '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点,包含新增节点。
______________________________________________
rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost: 可选参数,针对指定vhost下的queue进行设置
Name: policy的名称,可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition:镜像定义,包括三个部分ha-mode, ha-params, ha-sync-mode
ha-mode:指明镜像队列的模式,有效值为 all/exactly/nodes
all:表示在集群中所有的节点上进行镜像
exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定
ha-params:ha-mode模式需要用到的参数
ha-sync-mode:进行队列中消息的同步方式,有效值为automatic和manual
______________________________________________