rabbitmq集群部署

最新推荐文章于 2024-04-12 01:53:31 发布

会动的蜗牛

最新推荐文章于 2024-04-12 01:53:31 发布

阅读量1.1k

点赞数 3

文章标签： java centos 服务器负载均衡

本文链接：https://blog.csdn.net/CrazyRango/article/details/104779543

版权

前言

为什么搭建rabbitmq集群？rabbitmq集群有那些模式？如何搭建Rabbitmq集群？rabbitmq镜像高可用策略有那些？

1、首先这款产品本身的优点众多，大家最看好的便是他的异步化提高系统抗峰值能力，然后便是系统及功能结构解耦，那么照此两点来说，他的在整个系统中的作用还是至关重要的，那么如此重要，当然要考虑他的高可用性，那么便有啦第一个问题的解答。

2、rabbitmq有3种模式，但集群模式是2种。详细如下：

单一模式：即单机情况不做集群，就单独运行一个rabbitmq而已。
普通模式：默认模式，以两个节点（rabbit01、rabbit02）为例来进行说明。对于Queue来说，消息实体只存在于其中一个节点rabbit01（或者rabbit02），rabbit01和rabbit02两个节点仅有相同的元数据，即队列的结构。当消息进入rabbit01节点的Queue后，consumer从rabbit02节点消费时，RabbitMQ会临时在rabbit01、rabbit02间进行消息传输，把A中的消息实体取出并经过B发送给consumer。所以consumer应尽量连接每一个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理Queue。否则无论consumer连rabbit01或rabbit02，出口总在rabbit01，会产生瓶颈。当rabbit01节点故障后，rabbit02节点无法取到rabbit01节点中还未消费的消息实体。如果做了消息持久化，那么得等rabbit01节点恢复，然后才可被消费；如果没有持久化的话，就会产生消息丢失的现象。
镜像模式:把需要的队列做成镜像队列，存在与多个节点属于RabbitMQ的HA方案。该模式解决了普通模式中的问题，其实质和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在客户端取数据时临时拉取。该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉。所以在对可靠性要求较高的场合中适用(我下面搭建的是这个模式)。
多活模式(略, PS: 我这边没有多台服务器暂且

准备集群环境安装RabbitMQ

centos7如何安装rabbitmq, 见我上一篇文章centos安装rabbitmq

环境如下:

我手里有5台服务器, 分别是: 192.168.0.104(主) ->主机名: wzb104, 192.168.0.102(从) -> 主机名: wzb102, 192.168.0.103(从) -> 主机名: wzb103, 192.168.0.101(Haproxy+keepaliv) -> 主机名: wzb101, 192.168.0.105(Haproxy+keepaliv) -> 主机名: wzb105

查看自己的hostname改好了, 就拿我上面的192.168.0.104的主机名,

[root@wzb104 ~]# hostnamectl set-hostname wzb104
[root@wzb104 ~]# cat /etc/hostname
wzb104

修改每个机器的hosts, 因为各个机器通过主机名来访问(拿我上面的机器来说):

root@wzb104 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.102 wzb102
192.168.0.103 wzb103
192.168.0.105 wzb105
192.168.0.101 wzb101

检验一下各个机器是否通了(我的下面是通了):

[root@wzb104 ~]# ping wzb102
PING wzb102 (192.168.0.102) 56(84) bytes of data.
64 bytes from wzb102 (192.168.0.102): icmp_seq=1 ttl=64 time=1.15 ms
64 bytes from wzb102 (192.168.0.102): icmp_seq=2 ttl=64 time=1.24 ms
64 bytes from wzb102 (192.168.0.102): icmp_seq=3 ttl=64 time=0.946 ms
64 bytes from wzb102 (192.168.0.102): icmp_seq=4 ttl=64 time=1.22 ms
64 bytes from wzb102 (192.168.0.102): icmp_seq=5 ttl=64 time=0.831 ms
64 bytes from wzb102 (192.168.0.102): icmp_seq=6 ttl=64 time=0.956 ms

搭建rabbitmq的镜像模式集群

查看Rabbitmq是否起来(我下面的服务是ok的):

[root@wzb104 ~]# clear
[root@wzb104 ~]# lsof -i:5672
COMMAND   PID     USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
beam.smp 4569 rabbitmq   52u  IPv6  22617      0t0  TCP *:amqp (LISTEN)

停止MQ服务(我们首先停止3个节点的服务):

rabbitmqctl stop

文件同步步骤:

第一种方法:

选择104、102、103任意一个节点为Master（这里选择104为Master），也就是说我们需要把104的Cookie文件同步到102、103节点上去，进入/var/lib/rabbitmq目录下，把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777，原来是400；然后把.erlang.cookie文件copy到各个节点下；最后把所有cookie文件权限还原为400即可。

第二种方法:

scp  /var/lib/rabbitmq/.erlang.cookie 目标IP: /var/lib/rabbitmq/
注意: 这样操作不需要权限的问题

组成集群操作:

PS:接下来我们就可以使用集群命令，配置104、102、103为集群模式，3个节点（104、102、103）执行启动命令，后续启动集群使用此命令即可。

rabbitmq-server -detached

slave加入集群操作（重新加入集群也是如此，以最开始的主节点为加入节点）

//注意做这个步骤的时候：需要配置/etc/hosts 必须相互能够寻址到 (104不需要停掉)--就是上面的ping
wzb102：rabbitmqctl stop_app
// --ram: 以内存存储, 默认是磁盘存储 rabbit@可以去掉
wzb102：rabbitmqctl reset
wzb102：rabbitmqctl join_cluster --ram rabbit@wzb104  
wzb102：rabbitmqctl start_app
wzb103：rabbitmqctl stop_app
wzb103：rabbitmqctl reset
wzb103：rabbitmqctl join_cluster rabbit@wzb104
wzb103：rabbitmqctl start_app

小贴士(要注意操作):

//在另外其他节点上操作要移除的集群节点
rabbitmqctl forget_cluster_node rabbit@wzb102

修改集群名称

PS:修改集群名称（默认为第一个node名称）：

rabbitmqctl set_cluster_name rabbitmq_cluster1

查看集群状态

PS:最后在集群的任意一个节点执行命令：查看集群状态

[root@wzb104 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@wzb104 ...
[{nodes,[{disc,[rabbit@wzb102,rabbit@wzb103,rabbit@wzb104]}]},
 {running_nodes,[rabbit@wzb103,rabbit@wzb102,rabbit@wzb104]},
 {cluster_name,<<"rabbitmq_cluster1">>},
 {partitions,[]},
 {alarms,[{rabbit@wzb103,[]},{rabbit@wzb102,[]},{rabbit@wzb104,[]}]}]

管控台界面

PS: 访问任意一个管控台节点：http://192.168.0.104:15672 如图所示:

配置镜像队列

PS:设置镜像队列策略（在任意一个节点上执行）

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

PS:将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态一致，RabbitMQ高可用集群就已经搭建好了,我们可以重启服务，查看其队列是否在从节点同步。

安装HaProxy

Haproxy简介

HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。

HAProxy适用于那些负载较大的web站点，这些站点通常又需要会话保持或七层处理。

HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中，同时可以保护web服务器不被暴露到网络上。

Haproxy安装

PS:101、105节点同时安装Haproxy，下面步骤统一

//下载依赖包
yum install gcc vim wget
//下载haproxy
wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.5.tar.gz
//解压
tar -zxvf haproxy-1.6.5.tar.gz -C /usr/local
//进入目录、进行编译、安装
cd /usr/local/haproxy-1.6.5
make TARGET=linux31 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
mkdir /etc/haproxy
//赋权
groupadd -r -g 149 haproxy
useradd -g haproxy -r -s /sbin/nologin -u 149 haproxy
//创建haproxy配置文件
touch /etc/haproxy/haproxy.cfg

Haproxy配置

PS:haproxy 配置文件haproxy.cfg详解

vim /etc/haproxy/haproxy.cfg

#logging options
global
	log 127.0.0.1 local0 info
	maxconn 5120
	chroot /usr/local/haproxy
	uid 99
	gid 99
	daemon
	quiet
	nbproc 20
	pidfile /var/run/haproxy.pid

defaults
	log global
	#使用4层代理模式，”mode http”为7层代理模式
	mode tcp
	#if you set mode to tcp,then you nust change tcplog into httplog
	option tcplog
	option dontlognull
	retries 3
	option redispatch
	maxconn 2000
	contimeout 5s
     ##客户端空闲超时时间为 60秒 则HA 发起重连机制
     clitimeout 60s
     ##服务器端链接超时时间为 15秒 则HA 发起重连机制
     srvtimeout 15s	
#front-end IP for consumers and producters

listen rabbitmq_cluster
	bind 0.0.0.0:5672
	#配置TCP模式
	mode tcp
	#balance url_param userid
	#balance url_param session_id check_post 64
	#balance hdr(User-Agent)
	#balance hdr(host)
	#balance hdr(Host) use_domain_only
	#balance rdp-cookie
	#balance leastconn
	#balance source //ip
	#简单的轮询
	balance roundrobin
	#rabbitmq集群节点配置 #inter 每隔五秒对mq集群做健康检查， 2次正确证明服务器可用，2次失败证明服务器不可用，并且配置主备机制
        server wzb104 192.168.0.104:5672 check inter 5000 rise 2 fall 2
        server wzb102 192.168.0.102:5672 check inter 5000 rise 2 fall 2
        server wzb103 192.168.0.103:5672 check inter 5000 rise 2 fall 2
#配置haproxy web监控，查看统计信息
listen stats
	bind 192.168.0.105:8100
	mode http
	option httplog
	stats enable
	#设置haproxy监控地址为http://localhost:8100/rabbitmq-stats
	stats uri /rabbitmq-stats
	stats refresh 5s

启动haproxy

/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
//查看haproxy进程状态
ps -ef | grep haproxy

访问haproxy

PS:访问如下地址可以对rmq节点进行监控：http://192.168.0.101:8100/rabbitmq-stats

注意: 上面rabbitmq如果是绿色的话就说明了rabbitmq是在线

关闭haproxy(这个是程序出现其他问题的话, 可以用这个关闭)

## 如果没有killall命令, 要安装, 这个自己上去网上找找
killall haproxy   
ps -ef | grep haproxy

安装KeepAlived

Keepalived简介

Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP（Virtual Router Redundancy Protocol）协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个）。

Keepalived安装

PS:下载地址：http://www.keepalived.org/download.html

//安装所需软件包
yum install -y openssl openssl-devel
//下载
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
//解压、编译、安装
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
cd keepalived-1.2.18这个目录
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
make && make install
//将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作
//首先创建文件夹，将keepalived配置文件进行复制：
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
//然后复制keepalived脚本文件：
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
// 如果存在先删除/sbin/, 上面的也是一样
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
//可以设置开机启动：chkconfig keepalived on，到此我们安装完毕!
chkconfig keepalived on

Keepalived配置

PS:修改keepalived.conf配置文件

vim /etc/keepalived/keepalived.conf

PS: 101节点（BACKUP）配置如下

! Configuration File for keepalived

global_defs {
    router_id wzb101 ##标识节点的字符串，通常为hostname
}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20
}


vrrp_instance VI_1 {
    state BACKUP   ## 主节点为MASTER，备份节点为BACKUP
    interface eno16777736 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eno16777736）
    virtual_router_id 105  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.0.101 ## 本机ip地址
    priority 90  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.0.70
    }
}

PS: 105节点（Master）配置如下

! Configuration File for keepalived

global_defs {
    router_id wzb105 ##标识节点的字符串，通常为hostname
}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20
}


vrrp_instance VI_1 {
    state MASTER   ## 主节点为MASTER，备份节点为BACKUP
    interface eno16777736 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eno16777736）
    virtual_router_id 105  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.0.105 ## 本机ip地址
    priority 100  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.0.70
    }
}

执行脚本编写

PS:添加文件位置为/etc/keepalived/haproxy_check.sh（101、105两个节点文件内容一致即可）

#!/bin/bash
COUNT=`ps -C haproxy --no-header |wc -l`
if [ $COUNT -eq 0 ];then
    /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    sleep 2
    if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

执行脚本赋权

PS:haproxy_check.sh脚本授权,赋予可执行权限.

chmod +x /etc/keepalived/haproxy_check.sh

启动keepalived

PS:当我们启动俩个haproxy节点以后，我们可以启动keepalived服务程序：

//启动两台机器的keepalived
service keepalived start | stop | status | restart
//查看状态
ps -ef | grep haproxy
ps -ef | grep keepalived

高可用测试

PS:vip在105节点上可以看到( inet 192.168.0.70/32 scope global eno16777736)

[root@wzb105 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:44:0b:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.105/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.70/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe44:b22/64 scope link 
       valid_lft forever preferred_lft forever

注意: 105节点宕机测试：停掉105的keepalived服务即可。在105执行

[root@wzb105 ~]# service keepalived stop
Stopping keepalived (via systemctl):                       [  确定  ]
[root@wzb105 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:44:0b:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.105/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe44:b22/64 scope link 
       valid_lft forever preferred_lft forever

注: 查看101节点状态：我们发现VIP漂移到了101节点上，那么101节点的haproxy可以继续对外提供服务！可以看到(inet 192.168.0.70/32 scope global eno16777736)

[root@wzb101 haproxy]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:8f:3a:3b brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.101/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.70/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe8f:3a3b/64 scope link 
       valid_lft forever preferred_lft forever

如果我们把主节点105的keepalived服务起来

105节点如下:

[root@wzb105 ~]# service keepalived start
Starting keepalived (via systemctl):                       [  确定  ]
[root@wzb105 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:44:0b:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.105/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.70/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe44:b22/64 scope link 
       valid_lft forever preferred_lft forever

101如下:

[root@wzb105 ~]# service keepalived start
Starting keepalived (via systemctl):                       [  确定  ]
[root@wzb105 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:44:0b:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.105/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.70/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe44:b22/64 scope link 
       valid_lft forever preferred_lft forever

现象就是我们发现VIP漂移又回到了105节点上

注意: 192.167.0.70是对外暴露的ip, 访问的端口是5672

Java程序访问配置:

   ConnectionFactory connectionFactory = new ConnectionFactory();
//  上面的虚拟地址
        connectionFactory.setHost("192.168.0.70");
        connectionFactory.setPort(5672);
        // 由于添加了haproxy代理, 设置的超时间是15s, 所以我这边的配置是10s
        connectionFactory.setRequestedHeartbeat(10);
// 我新建的用户user, 权限是超级管理员权限, 虚拟机是test
        connectionFactory.setUsername("user");
        connectionFactory.setPassword("user");
        connectionFactory.setVirtualHost("test");

最后测试结果如下:

由于我采用的是镜像模式集群, 所以所有队列和数据都会同步到个节点, 上面的测试通过

会动的蜗牛

关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
rabbitmq集群部署

前言为什么搭建rabbitmq集群？rabbitmq集群有那些模式？如何搭建Rabbitmq集群？rabbitmq镜像高可用策略有那些？1、首先这款产品本身的优点众多，大家最看好的便是他的异步化提高系统抗峰值能力，然后便是系统及功能结构解耦，那么照此两点来说，他的在整个系统中的作用还是至关重要的，那么如此重要，当然要考虑他的高可用性，那么便有啦第一个问题的解答。2、rabbitmq有3...
复制链接

扫一扫