RabbitMQ集群的基础小实验

普通集群准备环境

        准备三台服务器都联⽹，另外RabbitMQ集群节点必须在同⼀⽹段⾥，如果是跨⼴域⽹，效果会变差。

192.168.50.138    rabbitmq-1
192.168.50.139    rabbitmq-2
192.168.50.140    rabbitmq-3

关闭防火墙和selinux

[root@rabbitmq-1 ~]#systemctl stop firewalld  &&  systemctl disable firewalld
[root@rabbitmq-1 ~]#setenforce 0 && sed -ri 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

在三台服务器上都进行本地域名解析，配置hosts⽂件更改三台MQ节点的计算机名分别为rabbitmq-1、rabbitmq-2 和rabbitmq-3，然后修改hosts配置⽂件。

[root@rabbitmq-1 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.50.138 rabbitmq-1
192.168.50.139 rabbitmq-2
192.168.50.140 rabbitmq-3

三个节点配置安装rabbitmq软件

        在三台服务器都进行如下配置：

#安装依赖
[root@rabbitmq-1 ~]# yum install -y epel-release gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
#yum安装erlang
[root@rabbitmq-1 ~]# curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash
[root@rabbitmq-1 ~]# yum install erlang-21.3.8.21-1.el7.x86_64
#测试；
[root@rabbitmq-1 ~]# erl
#安装rabbitmq
[root@rabbitmq-1 ~]# yum install rabbitmq-server-3.7.10-1.el7.noarch.rpm
#启动
[root@rabbitmq-1 ~]# systemctl daemon-reload
[root@rabbitmq-1 ~]# systemctl start rabbitmq-server
[root@rabbitmq-1 ~]# systemctl enable rabbitmq-server
#启动方式二:
[root@rabbitmq-1 ~]# /sbin/service rabbitmq-server status  ---查看状态
[root@rabbitmq-1 ~]# /sbin/service rabbitmq-server start   ---启动
#每台都操作开启rabbitmq的web访问界面：
[root@rabbitmq-1 ~]# rabbitmq-plugins enable rabbitmq_management

创建用户只在一台机器操作

#添加用户和密码
[root@rabbitmq-1 ~]# rabbitmqctl add_user newrain 123456
Creating user "newrain" ...
...done.

#这是为管理员
[root@rabbitmq-1 ~]# rabbitmqctl set_user_tags newrain administrator
Setting tags for user "newrain" to [administrator] ...
...done.

#查看用户
[root@rabbitmq-1 ~]# rabbitmqctl list_users
Listing users ...
guest	[administrator]
newrain	[administrator]
...done.

#此处设置权限时注意'.*'之间需要有空格 三个'.*'分别代表了conf权限，read权限与write权限，例如当没有给newrain设置这三个权限前是没有权限查询队列，在ui界面也看不见
[root@rabbitmq-1 ~]# rabbitmqctl set_permissions -p "/" newrain ".*" ".*" ".*"
Setting permissions for user "newrain" in vhost "/" ...
...done.

所有机器都操作:开启用户远程登录

[root@rabbitmq-1 ~]# cd /etc/rabbitmq/
[root@rabbitmq-1 rabbitmq]# cp /usr/share/doc/rabbitmq-server-3.7.10/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
[root@rabbitmq-1 rabbitmq]# ls
enabled_plugins  rabbitmq.config
[root@rabbitmq-1 rabbitmq]#  sed -i 's/%%{loopback_users, \[\]},/{loopback_users, \[\]}/g' rabbitmq.config
#三台机器都操作重启服务服务:
[root@rabbitmq-1 ~]# systemctl restart rabbitmq-server

查看端口

[root@rabbitmq-1 ~]# netstat -nplt

4369 -- erlang发现端口
5672 --程序连接端口
15672 -- 管理界面ui端口
25672 -- server间内部通信口

访问:192.168.50.138:15672

rabbitmq默认管理员用户:guest 密码:guest

新添加的用户为:newrain 密码:123456

开始部署集群三台机器都操作

1.首先创建好数据存放目录和日志存放目录:

[root@rabbitmq-1 ~]# mkdir -p /data/rabbitmq/data
[root@rabbitmq-1 ~]# mkdir -p /data/rabbitmq/logs
[root@rabbitmq-1 ~]# chmod 777 -R /data/rabbitmq
[root@rabbitmq-1 ~]# chown rabbitmq.rabbitmq /data/ -R
#创建配置文件:
[root@rabbitmq-1 ~]# vim /etc/rabbitmq/rabbitmq-env.conf
[root@rabbitmq-1 ~]# cat /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
#重启服务
[root@rabbitmq-1 ~]# systemctl restart rabbitmq-server

2.拷⻉erlang.cookie

[root@rabbitmq-1 ~]# cat /var/lib/rabbitmq/.erlang.cookie
HOUCUGJDZYTFZDSWXTHJ
#⽤scp的⽅式将rabbitmq-1节点的.erlang.cookie的值复制到其他两个节点中。
[root@rabbitmq-1 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.50.139:/var/lib/rabbitmq/
[root@rabbitmq-1 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.50.140:/var/lib/rabbitmq/

3.将mq-2、mq-3作为内存节点加⼊mq-1节点集群中

#在mq-2、mq-3执⾏如下命令：
[root@rabbitmq-2 ~]# systemctl restart rabbitmq-server
[root@rabbitmq-2 ~]# rabbitmqctl stop_app  #停止节点
[root@rabbitmq-2 ~]# rabbitmqctl reset   #如果有数据需要重置，没有则不用
[root@rabbitmq-2 ~]# rabbitmqctl join_cluster --ram rabbit@rabbitmq-1  #添加到磁盘节点
Clustering node 'rabbit@rabbitmq-2' with 'rabbit@rabbitmq-1' ...
[root@rabbitmq-2 ~]# rabbitmqctl start_app  #启动节点
Starting node 'rabbit@rabbitmq-2' ...
#如果有需要使用磁盘节点加入集群
[root@rabbitmq-2 ~]# rabbitmqctl join_cluster  rabbit@rabbitmq-1

4.查看集群状态

[root@rabbitmq-1 ~]# rabbitmqctl cluster_status

5.登录rabbitmq web管理控制台，创建新的队列

        打开浏览器输⼊http://192.168.50.138:15672, 输⼊默认的Username：guest，输⼊默认的Password:guest.

        登录后出现如图所示的界⾯:

        根据界⾯提示创建⼀条队列

创建镜像集群:

[root@rabbitmq-1 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

[root@rabbitmq-2 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

[root@rabbitmq-3 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

注：rabbitmqctl set_permissions  ".*" ".*" ".*"    (后面三个”*”代表用户拥有配置、写、读全部权限)

再次查看队列已经同步到其他两台节点:

6.实验创建一个vhost，并给用户权限添加队列:

        首先，在web界面，登陆后，点击“Admin--Virtual Hosts（页面右侧）”，在打开的页面上的下方的“Add a new virtual host”处增加一个虚拟主机，同时创建用户“admin”和“guest”均加上权限（在页面直接设置、点点点即可）；

创建用户：

        注意:创建用户的时候tags指定的从下面的选项中选择用户的类型，如管理员之类的。

        再新添加一条队列，在第一台服务器中执行以下命令；

[root@rabbitmq-1 ~]# rabbitmqctl set_policy -p coresystem  ha-all "^" '{"ha-mode":"all"}'

        将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态保持一直。

常见问题

        1、使用 rabbitmq-server -detached命令启动rabbitmq时，出现以下提示Warning: PID file not written; -detached was passed，此时使用rabbitmqctl status提示服务已启动，可知此问题不用解决。

        2、由于更改hostname文件，在每次rabbitmqctl stop或者rabbitmqctl cluster_status等，只要是rabbitmq的命令就报错，提示大概如下：

Cluster status of node rabbit@web2 ...
Error: unable to connect to node rabbit@web2: nodedown

DIAGNOSTICS
===========

attempted to contact: [rabbit@web2]
.
.
.

此时先ps aux | grep mq，然后kill -9 该进程，然后再rabbitmq-server -detached即可解决。（即先强杀，再重新启动）

        3、使用rabbitmqctl stop，rabbitmq-server -detached重新启动后，原先添加的用户admin、虚拟主机coresystem等均丢失，还需要重新添加。

安装并配置负载均衡器HA

1、在192.168.50.138安装HAProxy

[root@rabbitmq-1 ~]# yum -y install haproxy

2、修改 /etc/haproxy/haproxy.cfg

[root@rabbitmq-1 ~]# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak
[root@rabbitmq-1 ~]# vim /etc/haproxy/haproxy.cfg
global
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    nbproc      4
    daemon
    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    retries                 3
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout check           10s
    maxconn                 2048
#---------------------------------------------------------------------
##监控查看本地状态#####
listen admin_stats
        bind *:88
    mode http
    option httplog
    option httpclose
    log 127.0.0.1 local0 err
    stats uri  /haproxy
    stats auth newrain:123456
    stats refresh 30s
####################################
###反代监控
frontend server
    bind *:5670
    log global
    mode tcp
    #option forwardfor
    default_backend rabbitmq
    maxconn 3
backend rabbitmq
    mode        tcp
    log         global
    balance     roundrobin
    server      rabbitmq1 192.168.50.138:5672 check inter 2000s rise 2 fall 3
    server      rabbitmq2 192.168.50.139:5672 check inter 2000s rise 2 fall 3
    server      rabbitmq3 192.168.50.140:5672 check inter 2000s rise 2 fall 3
    
[root@rabbitmq-1 ~]# systemctl start haproxy

        浏览器输入http://192.168.50.138:88/haproxy查看rabbitmq的状态,如图所示：

安装测试购物环境

        从git仓库克隆项目，安装Python3和相关的开发环境，安装项目所需的Python包，设置环境变量并启动一个Flask应用。

#从指定的git仓库中克隆名为rabbitmq-test的项目
[root@rabbitmq-1 ~]# git clone https://gitea.beyourself.org.cn/newrain001/rabbitmq-test.git
#进入到刚刚克隆的rabbitmq-test目录中
[root@rabbitmq-1 ~]# cd rabbitmq-test
#使用yum包管理器安装Python3和Python3的开发环境
[root@rabbitmq-1 ~]# yum install -y python3 python3-devel
#使用pip3安装requirements.txt文件中列出的Python包，并且指定了使用阿里云的镜像源进行安装
[root@rabbitmq-1 ~]# pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple 
#设置一个名为FLASK_ENV的环境变量，值为development
[root@rabbitmq-1 ~]# export FLASK_ENV=development
#启动一个Flask应用，通过指定参数--reload来在代码修改后自动重载应用，-p 80指定应用监听的端口为80，-h 0.0.0.0指定应用监听所有可用的网络接口
[root@rabbitmq-1 ~]# flask run --reload -p 80 -h 0.0.0.0

  浏览器输入http://192.168.50.138查看购物状态,如图所示：

  浏览器输入http://192.168.50.138/read查看购物状态,如图所示：

        此时当有商品出售，rabbitQM页面会出现波动：

安装Mysql与上述程序进行链，当上述程序进行发货时会在数据库中记录

#安装Mysql
[root@rabbitmq-1 ~]# yum -y install mysql mysql-server
#启动Mysql
[root@rabbitmq-1 ~]# systemctl start mysqld
#查看随机密码
[root@rabbitmq-1 ~]# grep pass /var/log/mysqld.log
#修改Mysql密码
[root@rabbitmq-1 ~]# mysqladmin -uroot -p'hpBiNeY9sz*e'  password 'HongHun@123!'
#登录Mysql
[root@rabbitmq-1 ~]# mysql -p'HongHun@123!'
#远程登录授权
mysql> update mysql.user set host = '%' where user = 'root';
#刷新
mysql> flush privileges;
#退出Mysql
mysql> quit
#修改配置文件
[root@rabbitmq-1 ~]# vi settings.py 
# rabbitmq 配置
MQName="message_queue"
MQUser="guest"
MQPassword="guest"
MQHost="localhost"
MQPort=5670

# mysql数据库配置
DBHost="localhost"
DBUser="root"
DBPassword="HongHun@123!"

        当有东西出售时会在Mysql中记录。