RocketMq

2m-2s-sync集群搭建

1. 集群各角色介绍

• Producer：消息发送者
• Consumer：消息接收者
• Broker：暂存和传输消息
• NameServer：管理Broker
• Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息

2. 集群工作流程

• 启动NameServer，NameServer起来后监听端口9876，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心
• Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系
• 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic
• Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息
• Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息

3. 服务器环境

序号	IP	角色	架构模式
1	192.168.10.101	nameserver、brokerserver	Master1、Slave2
2	192.168.10.102	nameserver、brokerserver	Master2、Slave1

4. Host添加信息

vim /etc/hosts

#分别在两台Linux主机上配置如下信息
# nameserver
192.168.253.128 rocketmq-nameserver1
192.168.253.129 rocketmq-nameserver2
# broker
192.168.253.128 rocketmq-master1
192.168.253.128 rocketmq-slave2
192.168.253.129 rocketmq-master2
192.168.253.129 rocketmq-slave1

配置完成重启网卡

systemctl restart network

5. 防火墙配置
   宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service

RocketMQ默认使用3个端口：9876、10911、11011

• nameserver 默认使用 9876 端口
• master 默认使用 10911 端口
• slave 默认使用11011 端口
  执行以下命令：

# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
# 重启防火墙
firewall-cmd --reload

6. 创建消息持久化存储路径
   Broker Master 目录设置

mkdir -p /data/rocketmq/store
mkdir -p /data/rocketmq/store/commitlog
mkdir -p /data/rocketmq/store/consumequeue
mkdir -p /data/rocketmq/store/index

  Broker Slave 目录设置

mkdir -p /data/rocketmq/store-s
mkdir -p /data/rocketmq/store-s/commitlog
mkdir -p /data/rocketmq/store-s/consumequeue
mkdir -p /data/rocketmq/store-s/index

7. broker配置文件
   1> master1

vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样 master和salve通过这个名字来配对
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地>址可能读取错误
brokerIP1=192.168.10.101
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#