rockeMQ的安装搭建部署集群及配置文件详解

RocketMQ

简介：
Name Server:是一个几乎无状态节点，可集群部署，节点之间无任何信息同步
Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker Name，不同的Broker Id来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。
每个Broker与Name Server集群中的所有节点建立长连接，定时(每隔30s)注册Topic信息到所有Name Server。Name Server定时(每隔10s)扫描所有存活broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的链接
Producer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
Producer每隔30s（由ClientConfig的pollNameServerInterval）从Name server获取所有topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。
Producer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接
Consumer与Name Server集群中的其中一个节点(随机选择)建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。
Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多最需要30s才能感知。
Consumer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接；并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。
当Consumer得到master宕机通知后，转向slave消费，slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是一旦master恢复，未同步过去的消息会被最终消费掉。

Rocketmq的三种自带模式为：
1： 双MASTER : 优点配置简单，快捷 但是一旦MASTER机器宕机或出现问题就无法提供服务
2：双MASTER双SLAVE 同步双写：
比异步复制的性能差10% 但能保证数据不丢失
3： 双MASTER双SLAVE 异步复制：
性能最好，但是遇到突发情况会有少量数据丢失
以centOS7（4台）,rocketMQ4.4.0 （2m-2s-sync）为实例:
实例模式为：双MASTER双SLAVE 同步双写
以下操作4台主机操作相同
192.168.1.111 (MASTER)
192.168.1.112 (MASTER)
192.168.1.113 (SLAVE)
192.168.1.114 (SLAVE)
1 依赖环境 jdk1.8
2 wget 安装jdk1.8, 修改/etc/profile 配置环境变量 完成后测试：java -version 出现版 本信息后表示成功。

3 安装rocketmq 二进制文件zip, 解压到/usr/local/ 下 (unzip rocketMQ.zip) 使用unzip 命令解压
4 切换到BIN 目录下 修改 runserver.sh 中的Xms1g -Xmx1g -Xmn512m (设置的参数按实际服务器参数为准)，修改runbroker.sh 中的 Xms1g -Xmx1g -Xmn512m (设置的参数按实际服务器参数为准)，保存（参数不要小于1G，如果小于1G 可能会导致rocketMQ无法启动）
5 在 rocketmq主目录下 创建logs （用户存放日志） 然后进入conf目录 执行 sed -i ‘s#${user.home}#/usr/local/rocketmq#g’ *.xml
创建store目录 进入store目录 创建 mkdir /www/rocketmq/store/commitlog （存储文件）mkdir /www/rocketmq/store/consumequeue （消息队列存储）mkdir /www/rocketmq/store/index （消息索引），
6 修改/etc/hosts 文件 给ip地址取别名
192.168.1.111 nameserver1
192.168.1.112 nameserver2
192.168.1.113 nameserver3
192.168.1.114 nameserver4
设置好保存。
修改/rocketmq/conf/2m-2s-sync/ broker-a.properties ： （内容如下）
brokerClusterName=twoCluster #集群名 一个集群里的MQ 集群名相同
brokerName=broker-a # 基本与文件名保持一致 slave机器上设置名字与
自己的主master保持一致
brokerId=0 #master设置为0 ，slave 设置大于0
namesrvAddr=nameserver1:9876;nameserver2:9876;nameserver3:9876;nameserver4:9876 #此处为设置的IP别名，多个以；号隔开
defaultTopicQueueNums=4 # 自动创建队列数量（以需求为主）
autoCreateTopicEnbale=true #自动创建标题 正式环境设置为false
autoCreateSubscriptionGroup=true #自动创建组 正式环境设置为false
listenPort=10911 #对外的监听端口
deleteWhen=04 #凌晨4点删除文件
fileReservedTime=120 #文件默认保留时间48h
mapedFileSizeCommitLog=1073741824 #设置文件的容量为1G
mapedFileSizeConsumeQueue=300000 #设置存放的消息条数为30w
storePathRootDir=/www/rocketmq/store #指定目录地址
storePathCommitLog=/www/rocketmq/store/commitlog #指定目录地址
storePathConsumeQueue=/www/rocketmq/store/consumequeue #指定目录地址
storePathIndex=/www/rocketmq/store/index #指定目录地址
storeCheckpoint=/www/rocketmq/store/checkpoint #指定目录地址
abortFile=/www/rocketmq/store/abort #指定目录地址
maxMessageSize=65536 #限制消息的大小
brokerRote=SYNC_MASTER #rocketmq的角色 slave 上设置为SLAVE
flushDiskType=SYNC_FLUSH #刷盘方式
还有很多配置项 具体参考官方文档，
7：配置完成后 启动 ： 先启动4台机器的 nameserver 在启动master 在启动 slave
启动进入bin目录：启动nameserver: nohup sh mqnamesrv &
启动broker(192.168.1.111)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 &
启动broker(192.168.1.112)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 &
启动broker(192.168.1.113)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 &
启动broker(192.168.1.111)：nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 &

启动完毕后 查看: jps
8： 搭建rocketmq 控制台
Github下载rocketmq 源码 进入目录rocketmq-console\WEB-INF 有一个application.propertie修改 rocketmq.config.namesrvAddr= 192.168.1.111:9876; 192.168.1.1119876; 192.168.1.113:9876; 192.168.1.1149876 多个用 ; 号分开 设置好保存 编译 编译好后将class文件放到服务器上的tomcat中 设置webapp下rocketmq的文件名rocketmq-console（此处随便设置） 启动tomccat，
访问: http://localhost:8080/rocketmq-console 便可出现控制台