RocketMQ基础

1、 概述

MQ（ Message Queue）消息队列是一种先进先出的数据结构。由阿里使用java语言开发。

1.1、作用

（1）服务间解耦 --> 同步调用改为异步调用
（2）流量削峰 --> 将高峰时刻的请求放置mq队列，一点点消费
（3）数据分发 --> 生产者将消息发送至MQ，哪个系统需要哪个系统消费即不需要使用接口调用

1.2、缺点

（1）系统可用性降低：一旦mq宕机会对业务造成影响，需保证mq的高可用
（2）系统复杂度提高：mq的加入增加了系统的复杂度，系统间由同步调用改为通过mq异步调用，需保证消息不被重复消费，消息不丢失及消息传递的顺序
（3）一致性问题：a系统发消息至mq，b、c系统消费成功d系统消费失败，需保证消息数据处理的一致性

2、RocketMQ入门

1、linux下安装

上传rocketmq安装包rocketmq-all-4.4.0-bin-release.zip并解压，解压命令：unzip rocketmq-all-4.4.0-bin-release.zip 重命名为rocketmq
由于mq是有java开发，所以需要先安装jdk，如果源码安装还需要安装maven

2、启动/关闭rocketmq

启动后可通过命令jps查看java进程，存在NamesrvStartup和BrokerStartup即启动成功

2.1 启动NameServer

（1）启动NameServer
nohup sh bin/mqnamesrv &
（2）查看启动日志—日志默认在/root/logs下
tail -f ~/logs/rocketmqlogs/namesrv.log

2.2启动Broker

（1）启动broker 9876是namesrv的默认端口
nohup sh bin/mqbroker -n localhost:9876 &
（2）查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log

问题描述

默认手机用的jvm内存都是很大，8G/4g这样
RocketMQ默认的虚拟机内存较大，启动broker若因为内存不足则编译如下两个配置文件修改jvm内存大小 文件在bin目录下
runbroker.sh 和 runserver.sh
参考配置：可按照机器配置进行设置
JAVA_OPT=“${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”

2.3关闭RocketMQ

（1）关闭NameServer
sh bin/mqshutdown namesrv
（2）关闭broker
sh bin/mqshutdown broker

2.4 测试rocketmq

1、发送消息 使用工具连接安装有mq的linux服务
（1）设置临时环境变量
export NAMESRV_ADDR=localhost:9876
（2）发送消息,使用rocketmq自带的demo
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
2、 接受消息 另外单独使用工具连接安装有mq的linux服务
（1）设置临时环境变量
export NAMESRV_ADDR=localhost:9876
（2）接受消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

3、 集群搭建

3.1 各个角色介绍

Producer：生产者，即消息的发送者
Consumer：消费者，即消息的消费者
Broker：暂存和传输消息（主从之间既可以通过同步的方式复制数据也可以通过异步的方式复制数据）
NameServer：管理broker
Topic：区分消息的种类，一个生产者可以发送消息给一个或者多个topic，一个消息的消费者可以订阅一个或者多个topic 
Message Queue：相当于是Topic的区分，用于并行发送和接受消息

3.2 集群搭建方式
3.2.1 集群特点

（1）NameServer是一个几乎无状态的节点，在集群部署时直接启动多个即可，节点之间无任何信息同步(因为在启动broker时无论boker是否是集群部署的，所有的broker都会将自身的信息发送给每一个nameServer上，所以无需信息同步)这里是引用。
（2）Broker部署相对复杂，Broker分为master与slave(master负责写即接受生产者发送的消息，slave负责读即消费者消费消息)，一个master可以对应多个slave，但是一个slave只能对应要给master，master与slave的对应关系是通过指定相同的BrokerName的不同的BrokerId来定义（同一组的master与slave的BrokerName相同），BrokerId为0表示master，非0表示slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接定时注册topic信息到所有NameServer（因为当生产者和消费者需要发送或者消费消息时都会先去NameServer节点找到Broker的地址在进行操作）。
（3）Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取topic的路由信息，并向提供topic服务的mater建立长连接，且定时向master发送心跳（目的是知道哪个broker是可用的以便于发消息），producer完全无状态，可集群部署。
（4）Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer获取topic的路由信息，并向提供topic服务的mater、slave建立长连接，且定时向master、slave发送心跳（目的是知道哪个broker可用以便于消费消息，也让broker知道哪个消费者可用以便于推送消息），Consumer既可以从master订阅消息，也可以从slave订阅消息，订阅规则由broker配置决定。

3.2.2 集群模式

1）单master模式

这种模式风险较大，一旦broker重启或者宕机会导致整个服务不可用，不建议线上环境使用，可用于本地测试。

2）多master模式

一个集群中无slave，全是master优缺点如下：
优点：配置简单，单个master重启或者宕机对应用无影响，在磁盘配置为RAID10时即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢失（异步刷盘丢失少量消息，同步刷盘一条不丢）性能很高。
缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息时效性会受到影响。

3）多master多slave模式（数据同步采用异步方式）

每个master配置一/多个slave，有多对master-slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），优缺点如下：
优点：即使磁盘损坏，消息丢失的非常少且消息时效性不会受影响，同时在master宕机后，消费者仍然可以从slave消费，而且此过程对应用透明，无需人工干预，性能同多master模式机会一样。
缺点：master宕机，磁盘损坏情况下会丢失少量消息。

4）多master多slave模式（数据同步采用同步方式）

每个master配置一/多个slave，有多对master-slave，HA采用同步双写方式，即只有主备都写成功才向应用返回成功，优缺点如下：
优点：数据与服务都无单点故障master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。
缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后备机不能自动切换为主机.

HA（高可用）同步异步区别：

生产者发送消息，master接受消息后落盘，同步是指master落盘后将消息同步给slave后在给生产者响应说明接受消息成功，而异步是在数据落盘后先响应生产者消息接受成功在将数据同步给slave

3.3 双主双从集群搭建

3.3.1 总体架构

采用双主双从模式，主从之间数据同步采用同步的方式。

3.3.2 集群工作流程

1、启动NameServer，等待Broker、Producer、Consumer连接上来，相当于一个路由控制中心。
2、Broker启动，同所有的NameServer保持长连接，定时发送心跳包（包含当前Broker的ip端口以及存储的所有topic信息）注册成功后，NameServer集群中就有Topic和Broker的映射关系。
3、收发消息前，先创建topic，创建topic时需指定该topic要存储在那些broker上，也可以在发送消息时自动创建topic。
4、Producer发送消息，启动时先跟NameServer集群中的一台建立长连接，并从NameServer中获取当前发送的topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的broker建立长连接从而向Broker发消息。
5、Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅的topic存在哪些broker上，然后直接跟broker建立连接通道开始消费消息。

3.3.3 服务器环境（虚拟机）

序号 Ip 角色 架构模式
1 192.168.0.128 Nameserver、brokerserver Master1，slave2
2 192.168.0.129 Nameserver、brokerserver Master2，slave1

3.3.4 Hosts添加信息（配置域名可通过域名访问）

两台机器的配置一样
1、编辑文件 /etc/hosts
vi /etc/hosts
2、配置如下：
#nameserver
192.168.0.128 rocketmq-nameserver1
192.168.0.129 rocketmq-nameserver2
#broker
192.168.0.128 rocketmq-master1
192.168.0.128 rocketmq-slave2
192.168.0.129 rocketmq-master2
192.168.0.129 rocketmq-slave1
3、配置完成重启网卡
systemctl restart network

3.3.5 防火墙配置/开放端口

两台机器的配置一样
宿主机需要远程访问虚拟机的rocketmq服务和web服务需要开放相应的端口，简单粗暴的方式是直接关闭防火墙
1、关闭防火墙
#关闭防火墙
systemctl stop firewalld.service
#查看防火墙状态
firewall-cmd --state
#禁止开机自启动
systemctl disable firewalld.service
2、开放端口
或者为了安全起见，只开放特定的端口号，RocketMQ默认使用的3个端口号：9876、10911、11011.如果防火墙没有关闭的话，那么就必须开放这些端口：
nameserver默认使用9876端口
master默认使用10911端口
slave默认使用11011端口
开放端口执行以下命令：
#开放nameserver默认端口
firewall-cmd –remove-port=9876/tcp –permanent
#开放master端口
firewall-cmd –remove-port=10911/tcp –permanent
#开放slave端口(当前集群模式可不开启)
firewall-cmd –remove-port=11011/tcp –permanent
#重启防火墙
firewall-cmd --reload

3.3.6 环境变量配置

两台机器的配置一样
vi /etc/profile
在profile文件的末尾加入如下命令：
#set rocketmq 安装目录
ROCKETMQ_HOME=/usr/soft/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
保存并使环境变量立即生效：
source /etc/profile

3.3.7 创建消息存储路径

两台机器的配置一样（同一台机器启动多个broker时store文件夹路径需要不同，否则启动报错）
当接收到生产者发送的消息时默认存储在root下，可自定义存储消息的路径
mkdir /usr/soft/rocketmq/store-a
mkdir /usr/soft/rocketmq/store-a/commitlog
mkdir /usr/soft/rocketmq/store-a/consumequeue
mkdir /usr/soft/rocketmq/store-a/index
mkdir /usr/soft/rocketmq/store-b
mkdir /usr/soft/rocketmq/store-b/commitlog
mkdir /usr/soft/rocketmq/store-b/consumequeue
mkdir /usr/soft/rocketmq/store-b/index

3.3.8 broker配置文件

conf目录下：
2m-2s-async目录代表双主双从-主从数据同步采用异步方式
2m-2s-sync 目录代表双主双从-主从数据同步采用同步方式
2m-noslave 目录代表双主无从
目录下配置文件说明：
broker-a.properties master1配置文件
broker-a-s.properties slave1配置文件
broker-b.properties master2配置文件
broker-b-s.properties slave2配置文件
所以192.168.0.128机器需要配置broker-a.properties master1和broker-b-s.properties slave2的配置文件：
注意：
1不要创建abort和checkpoin文件夹，因为会自动创建这两个文件
2当一台机器启动两个broker时store文件夹路径需要不同

1）master1配置

服务器：192.168.0.128
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0表示master，非0表示slave
brokerId=0
#nameserver地址，分号分隔**************************************
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务不存在的topic默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#broker对外服务的监听端口
listenPort=10911
#删除文件时间，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小，默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30w，根据业务调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/soft/rocketmq/store-a
#commitLog存储路劲
storePathCommitLog=/usr/soft/rocketmq/store-a/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/soft/rocketmq/store-a/consumequeue
#消息索引存储路径
storePathIndex=/usr/soft/rocketmq/store-a/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/soft/rocketmq/store-a/checkpoint
#abort 文件存储路径
abortFile=/usr/soft/rocketmq/store-a/abort
#限制的消息大小
maxMessageSize=65536
#broker的角色 当前集群中该节点的角色，ASYNC/SYNC代表数据同步的方式
#-- ASYNC_MASTER 异步复制master
#-- SYNC_MASTER 同步双写master
#-- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#-- ASYNC_FLUSH 异步刷盘
#-- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2）slave2 配置

服务器：192.168.0.128
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0表示master，非0表示slave
brokerId=1
#nameserver地址，分号分隔**************************************
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务不存在的topic默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#broker对外服务的监听端口
listenPort=11011
#删除文件时间，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小，默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30w，根据业务调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/soft/rocketmq/store-b
#commitLog存储路劲
storePathCommitLog=/usr/soft/rocketmq/store-b /commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/soft/rocketmq/store-b /consumequeue
#消息索引存储路径
storePathIndex=/usr/soft/rocketmq/store-b /index
#checkpoint 文件存储路径
storeCheckpoint=/usr/soft/rocketmq/store-b /checkpoint
#abort 文件存储路径
abortFile=/usr/soft/rocketmq/store-b /abort
#限制的消息大小
maxMessageSize=65536
#broker的角色 当前集群中该节点的角色，ASYNC/SYNC代表数据同步的方式
#-- ASYNC_MASTER 异步复制master
#-- SYNC_MASTER 同步双写master
#-- SLAVE
brokerRole=SLAVE
#刷盘方式
#-- ASYNC_FLUSH 异步刷盘
#-- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3) master2 配置

服务器：192.168.0.129
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0表示master，非0表示slave
brokerId=0
#nameserver地址，分号分隔**************************************
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务不存在的topic默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#broker对外服务的监听端口
listenPort=10911
#删除文件时间，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小，默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30w，根据业务调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/soft/rocketmq/store-b
#commitLog存储路劲
storePathCommitLog=/usr/soft/rocketmq/store-b/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/soft/rocketmq/store-b/consumequeue
#消息索引存储路径
storePathIndex=/usr/soft/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/soft/rocketmq/store-b/checkpoint
#abort 文件存储路径
abortFile=/usr/soft/rocketmq/store-b/abort
#限制的消息大小
maxMessageSize=65536
#broker的角色 当前集群中该节点的角色，ASYNC/SYNC代表数据同步的方式
#-- ASYNC_MASTER 异步复制master
#-- SYNC_MASTER 同步双写master
#-- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#-- ASYNC_FLUSH 异步刷盘
#-- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4）slave1 配置

服务器：192.168.0.129
vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0表示master，非0表示slave
brokerId=1
#nameserver地址，分号分隔**************************************
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务不存在的topic默认创建的队列数
defaultTopicQueueNums=4
#是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#broker对外服务的监听端口
listenPort=11011
#删除文件时间，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小，默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30w，根据业务调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/soft/rocketmq/store-a
#commitLog存储路劲
storePathCommitLog=/usr/soft/rocketmq/store-a/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/soft/rocketmq/store-a/consumequeue
#消息索引存储路径
storePathIndex=/usr/soft/rocketmq/store-a/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/soft/rocketmq/store-a/checkpoint
#abort 文件存储路径
abortFile=/usr/soft/rocketmq/store-a/abort
#限制的消息大小
maxMessageSize=65536
#broker的角色 当前集群中该节点的角色，ASYNC/SYNC代表数据同步的方式
#-- ASYNC_MASTER 异步复制master
#-- SYNC_MASTER 同步双写master
#-- SLAVE
brokerRole=SLAVE
#刷盘方式
#-- ASYNC_FLUSH 异步刷盘
#-- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3.3.9 修改启动脚本文件

需要根据内存大小进行适当的对jvm参数进行调整，之前修改过此处不用修改

1. runbroker.sh
   vi /usr/soft/rocketmq/bin/runbroker.sh
   JAVA_OPT=“${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m”
2. runserver.sh
   vi /usr/soft/rocketmq/bin/runserver.sh
   JAVA_OPT=“${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”