rocketmq双主双从异步集群搭建-转载

一.首先新建4个虚拟机192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114修改hosts文件配制nameserver(nameserver相当于zookeeper的角色)vim /etc/hosts重启服务service network restart192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114尝试使用ping试试是否能ping通(防止nameservice配制错误,配制错误会导致启动失败)ping 主机名或ip地址或nameservice(Solitary2或192.168.1.112或rocketmq-nameserver2)自行新建一个目录将压缩包放到文件当中#新建文件名命令
mkdir 文件名(software)192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114将ActiveMQ的压缩包解压到指定文件中#解压到指定文件夹命令
tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C 指定目录(/usr/local)192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114建立软连接软连接相当于桌面快捷键你不用去寻找安装包路径直接可以运行该程序,就是一种连接方式#建立软连接命令
ln -s alibaba-rocketmq rocketmq192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114建立4个文件夹#建立4个文件夹
mkdir /usr/local/rocketmq/store
#你感觉像日志其实不是日志,生产端发布数据原封不动的放到commitlog文件中
mkdir /usr/local/rocketmq/store/commitlog   
#这个是一个逻辑数据存储存储的是一个标识,使用偏移量来完成的,commitlog中有一条记录就写一行方便消费端快速定位相当于索引,记录着偏移量并且配合着索引
mkdir /usr/local/rocketmq/store/consumequeue 
mkdir /usr/local/rocketmq/store/index2m-2s-async  两主两从 异步复制 
2m-2s-sync    两主两从 同步手写
两者区别自行看文档,或者后期文章跟新如果要建立三主三从异步复制的话多建立一个文件夹其他情况相同192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114节点中需要修改的文件有如下4个文件 1.broker-a-s.properties 2.broker-a.propertie 3.broker-b-s.propertie 4.broker-b.propertie具体修改文件如下#所属集群名字
#一:(4个节点的集群名字要相同)
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
#二:(如果是broker-a.properties和broker-a-s.properties文件的话修改为broker-a,如果是broker-b.properties和broker-b-s.properties修改为broker-b)
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
#(0 表示 Master,>0 表示 Slave)
brokerId=0
#nameServer地址,分号分割
#三:(有几个节点就应该有几个nameserver使用";"隔开)
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#四:(如果是broker-a-s.properties文件和broker-b-s.properties文件的话角色发生变化变为SLAVE)
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128如果这个时候从windows赋值过来的代码乱码的话可以尝试下面的命令vim ~/.vimrcset fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936  #进入到~/.vimrc下后将这里的内容复制上午,查看问题是否解决
set termencoding=utf-8
set encoding=utf-8192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114修改日志配制文件1.mkdir -p /usr/local/rocketmq/logs

2.cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114修改启动脚本参数(如果你设置的虚拟机内存足够大的话可以分配的内存多一些)1.vim /usr/local/rocketmq/bin/runserver.sh    #两个文件都需要修改此处只展示了runbroker.sh文件的修改。runserver.sh脚本的修改和runbroker.sh脚本的修改相同由于文章原因此处不一一展示

2.vim /usr/local/rocketmq/bin/runbroker.sh192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114启动nameservercd /usr/local/rocketmq/bin    #重新启动命令1

nohup sh mqnamesrv &        #重新启动命令2192.168.1.111启动brokernohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &    #重新启动命令3192.168.1.112启动brokernohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 &        #重新启动命令4192.168.1.113启动brokernohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &    #重新启动命令5192.168.1.114启动brokernohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &    #重新启动命令6192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114查看nameserver和broker是否启动jps192.168.1.111,192.168.1.112,192.168.1.113,192.168.1.114到指定位置修改config.properties配制文件cd /usr/local/apache-tomcat-7.0.29/webapps/rocketmq-console/WEB-INF/classesrocketmq.namesrv.addr=192.168.1.111:9876;192.168.1.112:9876;192.168.1.113:9876;192.168.1.114:9876
throwDone=true192.168.1.111启动tomcat7/usr/local/apache-tomcat-7.0.29/bin/startup.sh        #重新启动命令7搭建成功关闭服务关闭注意:先关闭broker服务再关闭namesrv服务sh /usr/local/rocketmq/bin/mqshutdown broker    #关闭broker服务        

sh /usr/local/rocketmq/bin/mqshutdown namesrv    #关闭namesrv服务数据清理关闭服务后(使用上述命令关闭)rm -rf /usr/local/rocketmq/store    #删除该文件夹     重启的时候需要再次先新建文件夹
————————————————
版权声明:本文为CSDN博主「SolitaryFG」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_41141219/article/details/80795263

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给 Apache 软件基金会,并于2017年9月25日成为Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件,以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要功能有1.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.回溯消费等常用功能。RocketMQ 核心的四大组件:Name Server、Broker、Producer、Consumer ,每个组件都可以部署成集群进行水平扩展。2、适应人群有一定的Java基础,并且有分布式项目开发经验。3、课程价值可以让初学者对分布式系统解耦有一定认识,并且能够通过快速使用RocketMQ实现分布式服务的异步通信,同时本课程还会通过项目案例实战让学员对RocketMQ的应用场景有所体会,最后再通过源码角度让学员对RocketMQ的原理有所理解,不仅做到“知其然”,亦“知其所以然”。4、课程收获1. 理解消息中间件MQ的优势和应用场景2. 掌握RocketMQ的核心功能,以及各种消息发送案例3. 通过电商项目深刻理解RocketMQ在使用项目中的落地应用4. 通过RocketMQ高级功能和源码学习,对RocketMQ的技术细节和原理有更加透彻的理解5、课程亮点l  核心功能n  MQ介绍n  环境准备n  RocketMQ高可用集群搭建n  各种消息发送样例l  综合练习n  项目背景介绍n  功能分析n  项目环境搭建n  下单功能,保证各服务的数据一致性n  确认订单功能,通过消息进行数据分发n  整体联调l  高级功能n  消息的存储和发送n  消息存储结构n  刷盘机制n  消息的同步复制和异步复制n  负载均衡l  源码分析n  路由中心NameServern  消息生产者Producern  消息存储n  消息消费Consumer6、主讲内容章节一:核心功能1.     快速入门a)     MQ介绍b)     作用c)      注意事项d)     各MQ产品比较2.     RocketMQ环境搭建a)     环境准备b)     安装RocketMQc)      启动RocketMQd)     测试RocketMQe)     关闭RocketMQ3.     RocketMQ高可用集群搭建a)     集群各角色介绍b)     集群搭建方式c)      双主双集群搭建d)     集群监控平台4.     各种消息发送样例a)     同步消息b)     异步消息c)      单向消息d)     顺序消息e)     批量消息f)      过滤消息g)     事务消息章节二:项目实战1.    项目背景介绍(1)    电商高可用MQ实战2.    功能分析(1)    下单功能(2)    支付功能3.    项目环境搭建(1)    SpringBoot(2)    Dubbo(3)    Zookeeper(4)    RocketMQ(5)    Mysql4.下单功能,保证各服务的数据一致性5.确认订单功能,通过消息进行数据分发章节三:高级功能1. 消息的存储和发送2. 消息存储结构3. 刷盘机制(1)    同步刷盘(2)    异步刷盘4. 消息的同步复制和异步复制5. 负载均衡(1)    Producer负载均衡(2)    Consumer负载均衡章节四:源码分析1.     路由中心NameServera)     NameServer架构设计b)     NameServer启动流程c)      NameServer路由注册和故障剔除2.     消息生产者Producera)     生产者启动流程b)     生产者发送消息流程c)      批量发送3.     消息存储a)     消息存储流程b)     存储文件与内存映射c)      存储文件d)     实时更新消息消费队列和存储文件e)     消息队列与索引文件恢复f)      刷盘机制4.     过期文件删除机制a)     消息消费Consumerb)     消费者启动流程c)      消息拉取d)     消息队列负载均衡和重新分布机制e)     消息消费过程f)      定时消息机制g)     顺序消息

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值