RocketMQ初探

RocketMQ是一款分布式、队列模型的消息中间件。

RocketMQ的特性

• 支持集群模型、负载均衡，水平扩展能力强
• 上亿级别的消息堆积
• 采用零拷贝的原理，顺序写盘、随机读
• 丰富的API
• 代码优秀，底层通信框架使用Netty NIO框架
• 使用NameServer代替了Zookeeper
• 强调集群无单点，可扩展，任意一点高可用，水平可扩展
• 消息失败重试机制，消息可查询

RocketMQ的概念模型

• Producer：消息生产者，负责产生消息，一般由业务系统负责产生消息。
• Consumer：消息消费者，负责消费消息，一般由后台系统负责异步消费。
• Push Consumer：Consumer的一种，需要向Consumer对象注册监听。
• Pull Consumer: Consumer的一种，需要主动请求Broker拉取消息。
• Producer Group：生产者集合，一般用于发送一类消息。一般在事务消息，消息回查时会使用生产者组。一个JVM只能启动一个相同名称的Group。
• Consumer Group：消费者集合，一般用于接收一类消息进行消费。
• Broker：MQ消息服务，相当于一个中转角色，用于消费存储与生产消费转发。

搭建RocketMQ环境

在演示过程中，使用单master方式搭建RocketMQ环境。

1. 在/etc/hosts下添加信息。

ip : name
ip : rocektmq-master1

2. 下载并解压rocket mq

wget https://archive.apache.org/dist/rocketmq/4.5.2/rocketmq-all-4.5.2-bin-release.zip
unzip rocketmq-all-4.5.2-bin-release.zip -d /usr/local/tools
mv rocketmq-all-4.5.2-bin-release apache-rocektmq
// 建立软连接
ln -s apache-rocketmq rocketmq

3. 创建存储路径

// 数据存储路径
mkdir /usr/local/tools/rocketmq/store
// 真正存储rocketmq的数据
mkdir /usr/local/tools/rocketmq/store/commitlog
// 逻辑存储，存储一些offset
mkdir /usr/local/tools/rocketmq/store/consumequeue
// 索引文件，用于快速查询rocketmq的消息
mkdir /usr/local/tools/rocketmq/store/index

4. 修改RocketMQ配置文件

// 这里使用的为2m-2s-async(两主两从异步复制)下的配置
vim broker-a.properties

brokerClusterName=rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样 
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0

#nameServer 地址，分号分割 
namesrvAddr=rocketmq-nameserver1:9876

#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120

#commitLog 每个文件的大小默认 1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/tools/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/tools/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/tools/rocketmq/store/consumequeue 
#消息索引存储路径
storePathIndex=/usr/local/tools/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/usr/local/tools/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/tools/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制 Master 
#- SYNC_MASTER 同步双写 Master 
#- SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false 
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

5. 修改日志配置文件

mkdir -p /usr/local/tools/rocketmq/logs
cd /usr/local/tools/rocketmq/conf 
// 对日志的一些进行替换
sed -i 's#${user.home}#/usr/local/tools/rocketmq#g' *.xml

6. 修改启动脚本参数
   RocketMQ本身是比较吃内存的，官方推荐堆的最大值和初始值为8g，由于目前机器资源问题，暂时将其设置为1g。

vim /usr/local/rocketmq/tools/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"

vim /usr/local/rocketmq/tools/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:PermSize=128m - XX:MaxPermSize=320m"

7. 启动RocketMQ
   先启动NameServer再启动Broker.

// 启动nameserver
nohup sh mqnamesrv &

// 启动broker
nohup sh mqbroker -c /usr/local/tools/rocketmq/conf/2m-2s-async/broker-a.properties > /dev/null 2>&1 &

nohup sh mqbroker -n 47.107.90.36:9876  -c /usr/local/tools/rocketmq/conf/2m-2s-async/broker-a.properties autoCreateTopicEnable=true  > /dev/null 2>&1 &

到这里我们的rocketmq就已经跑起来了，接下来我们将继续介绍如何快速使用rocketmq。