rocketmq集群安装配置说明

最新推荐文章于 2024-09-14 09:30:00 发布
最新推荐文章于 2024-09-14 09:30:00 发布
阅读量376 收藏
点赞数
文章标签： shell python awk
原文链接：https://my.oschina.net/yifanxiang/blog/357280
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

本文采用多master+slave+nameservers的集群配置方式。

一、前提

1. 安装好JDK。JDK版本为1.6+ 64bit

2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。（现放到/opt/目录下）

     rocketmq下载地址：https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/
>chmod 755 alibaba-rocketmq- 3.2 . 2 .tar.gz
>tar -zxvf ./alibaba-rocketmq- 3.2 . 2 .tar.gz

   2.增加系统环境变量ROCKETMQ_HOME：

> vi /etc/profile

     添加：

ROCKETMQ_HOME=/opt/alibaba-rocketmq
export ROCKETMQ_HOME

   3.使配置立即生效：

> source /etc/profile
##可以将$ROCKETMQ_HOME/bin加入到$PATH中，这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动：

> vi /etc/rc
##(以下为启动nameserver节点和启动broker节点，视生产环境添加启动规则)
##启动nameserver节点
##/opt/alibaba-rocketmq/local/start_nameserver.sh
##启动broker节点
##/opt/alibaba-rocketmq/local/start_broker.sh

 

二、Rocketmq配置

 1.默认没有local目录，在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

> mkdir $ROCKETMQ_HOME /local ; cd $ROCKETMQ_HOME /local
> touch start_nameserver.sh
 
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqnamesrv > ${console日志输出} 2>&1 &
#可以使用mqnamesrc -p >namesrc.p取到默认配置文件，后续使用
#./mqnamesrv -c namesrv.p加载配置（这样可以修改namesrv的端口号，注意所有配置文#件格式为utf8最好。windows shell >出来的有问题）
nohup $ROCKETMQ_HOME /bin/mqnamesrv -c $ROCKETMQ_HOME /bin/namesrv .properties >$ROCKETMQ_HOME /log/mqnamesrv .log 2>&1 &
> touch start_borker.sh
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 &
nohup $ROCKETMQ_HOME /bin/mqbroker -c $ROCKETMQ_HOME /bin/broker .properties >$ROCKETMQ_HOME /log/mqbroker .log 2>&1 &
> touch stop_nameserver.sh
#!/bin/sh
#注释为杀进程方式关闭服务
#ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}'  |while read pid
#        do
#                kill $pid
#        done
$ROCKETMQ_HOME /bin/mqshutdown namesrv
> touch stop_borker.sh
#!/bin/sh
$ROCKETMQ_HOME /bin/mqshutdown broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置：

  修改namesrv配置：

> cd $$ROCKETMQ_HOME /bin
>. /mqnamesrv -p > namesrv.properties
#可以通过./namesrv.properties修改namesrv的端口号
#启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置：

> cd $ROCKETMQ_HOME /bin
>broker -m broker.properties
# (当没有时可以使用此命令创建；此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容：

namesrvAddr=192.168.45.214:9876
brokerIP1=192.168.45.214
brokerName=ROCKETMQAH
brokerClusterName=DefaultCluster
brokerId=0
autoCreateTopicEnable= true
autoCreateSubscriptionGroup= true
rejectTransactionMessage= false
fetchNamesrvAddrByAddressServer= false
storePathRootDir= /opt/alibaba-rocketmq/store
storePathCommitLog= /opt/alibaba-rocketmq/store/commitlog
storePathConsumeQueue= /opt/alibaba-rocketmq/consumequeue
storePathIndex= /opt/alibaba-rocketmq/index
storeCheckpoint= /opt/alibaba-rocketmq/checkpoint
abortFile= /opt/alibaba-rocketmq/abort
flushIntervalCommitLog=1000
flushCommitLogTimed= false
deleteWhen=04
fileReservedTime=72
maxTransferBytesOnMessageInMemory=262144
maxTransferCountOnMessageInMemory=32
maxTransferBytesOnMessageInDisk=65536
maxTransferCountOnMessageInDisk=8
accessMessageInMemoryMaxRatio=40
messageIndexEnable= true
messageIndexSafe= true
haMasterAddress=
brokerRole=ASYNC_MASTER
flushDiskType=SYNC_FLUSH
cleanFileForciblyEnable= false

   说明：

   1.namesrvAddr的地址，可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911（默认为10911）可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定，默认保存到use_dir下

   4.brokerName表示集群master组名称，同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master；SYNC_MASTER表示同步master；SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式：SYNC_FLUSH表示同步到文件后返回成功；ASYNC_FLUSH表示broker接收到后立即返回生产者成功，后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式：true表示满后删除接收的文件。False表示立即停止服务。

   broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置：

   1.进行入$ROCKETMQ_HOME/conf目录下，将logback_*.xml 的所有xml文件的${user.home}改为${ROCKETMQ_HOME}。


三、集群配置要修改说明

   一、nameserver集群配置说明：

        多个nameserver的配置：

  • 在另一台主机启动一个./start_nameserver.sh 这个不用修改

  • 修改所有的borker的启动方式(配置了一个改为两个nameserver情况)，vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876’

  • 所有的客户端程序（即producer，consumer） xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明：

   1.查看并修改nameserver节点配置

    完成（一、前提）的情况下，修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

> cd $$ROCKETMQ_HOME /local
> vi start_nameserver.sh
#修改$ROCKETMQ_HOME，修改为当前的rocketmq地址，如果没有变化不用做修改

   管理nameserver节点：启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置：

  修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  •   修改brokerIP1 为本机IP；

  •   brokerName 为定义的master组名称；

  •   brokerId 填0；

  •   brokerRole 选择MASTER相关选项；

  •   flushDiskType值选择borker回复方式；

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点：

     1.完成前提的情况下，修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址}；。

     2.修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  • 修改brokerIP1 为本机IP,

  • brokerName 为定义的master组名称

  • brokerId 填大于0

  • brokerRole 选择SLAVE

  • flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh

四、客户端开发

          Producer，consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败，并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费，也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了，表集群处理模式，一个请求只被一个master节点处理一次，要以自个测试结果为准。后续最好看下源码。

五、监控程序rocketmq_console和集群验证

监控为一个外置war文件，下载地址为：

    https://github.com/rocketmq/rocketmq-console.git

  • 使用MAVEN进行编译（附件中有编好的war包）

  • 下载后，需修改：src/main/resources/config.properties：

              Rocketmq.namesrv.addr内容，指向nameserver地址

      集群配置完成后，使用rockertmq_console访问和验证：

     分别启动一个consumer和producer 处理空业务，并查看rocketmq_console的 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave；多个master组合时，会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况（主要查看是否以master+slave为组的，一组一组的列表显示；注意#Broker_name是否为borker.p配置的地址和端口号（目前rocketmq在配置失效后，会使用默认的配置，所以需要查下是否配置正确））

六、问题说明

          本文档采用的是，多nameserver+master+slave(一个master只有一个slave，没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容，即只负责发内容到consumer。当master停止后，这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行：

             bin里面的exe程序，是用64位编译的，exe程序不支持32位的系统；jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明：

七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       

八、参考文档

       《RocketMQ Developer Guide.pdf》

转载于:https://my.oschina.net/yifanxiang/blog/357280

weixin_34082177
关注
RocketMQ的安装与配置（集群）- 多Mater多Slave
Jason World
03-30 2526
一、前置条件：配置Java环境 # 官网下载安装包: jdk-8u321-linux-x64.tar.gz > tar -zxvf jdk-8u321-linux-x64.tar.gz > mv jdk1.8.0_321 /usr/local/jdk1.8.0_321 # 配置环境变量 > vim /etc/profile # 新增Java配置 export JAVA_HOME=/usr/local/jdk1.8.0_321 export CLASSPATH=.:${JAVA_HOME}/
rocketMq安装及集群配置
ajaajaja0的博客
08-10 220
网上关于rocketMq安装、集群配置的文章有很多，作为一个初学者，跟着网上的各种教程安装遇到了各种坑，可谓是一路坎坷。本文记录下rocketMq安装的完整过程。希望对你有一点帮助 安装rocketMq 基于MacOS10.14.6、jdk1.8 下载源码包 http://rocketmq.apache.org/dowloading/releases/ 解压 unzip rocketmq-all-4.4.0-source-release.zip 项目构建 # 进入解压目录 cd rocke
rocketMQ安装集群
yeYingXuan的博客
03-03 481
配置域名 vi /etc/hosts # nameserver 192.168.91.130 rocketmq-nameserver1 192.168.91.131 rocketmq-nameserver2 # broker 192.168.91.130 rocketmq-master1 192.168.91.130 rocketmq-slave2 192.168.91.131 rocketmq-master2 192.168.91.131 rocketmq-slave1 重启网卡 servi...
RocketMQ 集群搭建详细指南
最新发布
hello.reader
09-14 1893
RocketMQ是阿里巴巴开源的一款分布式消息中间件，具备高性能、高可用性和强大的消息传递能力，能够胜任从实时消息传递、事务消息到事件驱动架构的多种场景。RocketMQ 的核心架构设计使其能够支持高并发、低延迟的场景，尤其是在互联网公司和金融领域广泛应用。为了确保系统的高可用性和扩展性，我们通常会在生产环境中搭建RocketMQ 集群。通过集群化部署，RocketMQ 可以在节点故障时保持正常运行，并通过水平扩展来提升系统的吞吐能力。
RocketMQ安装与部署说明
xiaomin1991222的专栏
07-26 538
一、安装说明1.下载安装包，下载地址：https://github.com/alibaba/RocketMQ/releases/download/v3.1.7/alibaba-rocketmq-3.1.7.tar.gz。2.解压安装包到指定的目录。3.参考资料： ROCKETMQ管理类命令总结：http://alibaba.github.io/RocketMQ-docs/document/ope...
RocketMQ-手把手教你搭建集群
秃了也弱了
01-14 2823
目录 一、集群架构 二、准备rocketmqOS1主机 三、修改rocketmqOS1配置文件 配置文件位置 修改broker-a.properties 修改broker-b-s.properties 其它配置 四、准备rocketmqOS2主机 五、修改rocketmqOS2配置文件 修改broker-b.properties 修改broker-a-s.properties 六、启动服务器 启动NameServer集群 启动两个Master 启动两个Slave 七、mqad
RocketMQ集群安装部署
08-15
综上所述，部署RocketMQ集群需要考虑的方面包括集群架构规划、环境准备、软件下载安装、文件路径配置、配置文件调整和测试验证。在部署过程中，需要根据实际需求对配置文件进行适当的修改，以确保RocketMQ集群能够...
RocketMQ集群搭建
mry6的博客
03-15 1084
Producer：消息的发送者；举例：发信者Consumer：消息的接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息。
RocketMQ集群部署
wangqingjia的博客
06-22 9673
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
RocketMQ-3.5.8双主双从配置及部署说明
10-29
首先，你需要解压`Rocketmq-3.5.8.tar.gz`文件，这将包含RocketMQ的所有源码、可执行文件和配置文件。这个压缩包提供了在Linux环境下编译和部署的环境，确保你有一台Linux服务器来执行这些操作。 `RocketMQ笔记(1)_...
RocketMQ（二）——集群部署
热门推荐
张连海
08-02 1万+
在Metaq1.x/2.x的版本中，分布式协调采用的是Zookeeper，而RocketMQ自己实现了一个NameServer，所以RocketMQ启动时，先启动对应的NameServer。 集群部署方式 RocketMQ部署比较灵活，推荐几种Broker的集群部署方式。 1. 单个Master 很显然，这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议
rocketmq4.5.0安装部署（安装包,开发手册,配置文件）.zip
05-09
rocketmq4.5.0安装部署，有安装包、开发手册、配置文件，有2主没有从部署模式和2主2从部署模式，含有mq监控平台部署步骤，以及相关的注意事项。
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
RocketMQ 服务端搭建与配置所需要的文件【配置环境变量】
08-12
RocketMQ所需要的资源包。说明：除了本压缩文件下的文件，您还需要安装Java1.8、注意，请务必只装1.8版本，其他版本会失败。通过这些文件，配置RocketMQ的环境。最后通过教程来完成RocketMQ 服务端搭建与配置。配置说明可参考：https://www.cnblogs.com/chenwolong/p/13452476.html
1.RocketMQ的安装与集群架构
qq_30635523的博客
06-17 1624
RocketMQ快速入门 RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，在阿里内部，RocketMQ承接了例如“双11”等高并发场景的消息流转，能够处理万亿级别的消息。 2.1 准备工作 2.1.1 下载RocketMQ RocketMQ最新版本：4.5.1 下载地址 2.2.2 环境要求 Linux64位系统 JDK1.8(64位) 源码安装需要安装Mav...
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
2401_83974607的博客
05-09 1649
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
RocketMQ集群安装部署（多主多从）
momo898821的博客
04-08 3255
RocketMQ 2m-2s-async集群安装部署
RocketMQ下载安装、集群搭建保姆级教程
Joker_ZJN的博客
07-11 2880
保姆级讲解rocket下载安装、集群搭建。
Windows环境下RocketMQ的安装与配置详解
为方便监控和管理RocketMQ集群，还介绍了如何使用rocketmq-dashboard-master.zip包中的Web控制台插件。该插件的安装和配置相对简单，只需要将其部署在可提供服务的Web服务器上，然后按照文档说明配置RocketMQ服务的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值