rocketMQ消息队列 ，docker部署rocketMQ 单机、集群

已于 2022-06-13 17:37:46 修改
阅读量531 收藏 1
点赞数
文章标签： docker kafka rabbitmq
于 2022-05-25 17:54:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40178286/article/details/124969070
版权

介绍

为了方便大家快速 使用 本人已经 写好了脚本，直接pull 使用

一、RocketMQ 是什么？

rocketmq分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等。
目前主流的 MQ 主要是 RocketMQ、kafka、RabbitMQ，其主要优势有：

支持事务型消息（消息发送和 DB 操作保持两方的最终一致性，RabbitMQ 和 Kafka 不支持）
支持结合 RocketMQ 的多个系统之间数据最终一致性（多方事务，二方事务是前提）
支持 18 个级别的延迟消息（Kafka 不支持）
支持指定次数和时间间隔的失败消息重发（Kafka 不支持，RabbitMQ 需要手动确认）
支持 Consumer 端 Tag 过滤，减少不必要的网络传输（即过滤由MQ完成，而不是由消费者完成。RabbitMQ 和 Kafka 不支持）
支持重复消费（RabbitMQ 不支持，Kafka 支持）

二、使用步骤

1.需要 提前 安装 docker

git clone https://github.com/qinxiaohai/rocketmq.git

cd rocketmq
vim rmq/brokerconf/broker.conf
修改 外网ip即可
brokerIP1= 外网IP

#注意 需要安装 docker-compose 
sh start.sh

外部访问 8180 即可请添加图片描述

单机模式部署

优点：

  1. 本地开发测试，配置简单，同步刷盘消息不会丢失。

缺点：

  1. 不可靠，如果宕机会导致服务不可用。

多主模式

全部由 Broker Master 节点组成（即可能部署两个或者更多 Broker），生产者发送的数据会分别存入不同的 Broker 中，这样能够避免某个 Broker 一直接收处理数据从而负载过高。

多Master多Slave模式-同步双写：

每个Master配置一个Slave，有多对Master-Slave，HA（双机集群）采用同步双写方式，即只有主备都写成功，才向应用返回成功。：

优点：

  1. 数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；

缺点：

  1. 性能比异步复制模式略低（大约低10%左右），发送单个消息的RT（响应时间）会略高，且目前版本在主节点宕机后，备机不能自动切换为主机

双主双从/多主多从模式（异步复制）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级）。

优点：
即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍 然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；

缺点：
Master宕机，磁盘损坏情况下会丢失少量消息。

2m-2s-async (2主2从异步) —— 本文采用这种
2m-2s-sync (2主2从同步)
2m-noslave (2主)

开始部署

RcoketMQ Dledger 集群模式 异步复制

下载 地址  https://archive.apache.org/dist/rocketmq/
wget https://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip
unzip rocketmq-all-4.9.2-bi
n-release.zip
#重命名
mv rocketmq-4.9.2 /usr/local/rocketmq

4、修改启动脚本 修改 内存
vim /usr/local/rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g"

vim /usr/local/rocketmq/bin/runserver.sh 
这一个也是一样


修改服务器1上的配置文件
broker-a.properties
#所属集群名字，同一个集群名字相同
brokerClusterName=rocketmq-cluster
#broker名字
brokerName=broker-a
#0表示master >0 表示slave
brokerId=0
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=168
#异步复制Master
brokerRole=ASYNC_MASTER
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=10.30.1.130:9876;10.30.1.131:9876
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP 服务器1的ip地址
brokerIP1=10.30.1.130
#存储路径
storePathRootDir=/data/rocketmq/store-a
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store-a/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue=/data/rocketmq/store-a/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store-a/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store-a/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store-a/abort
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

broker-b-s.properties

# limitations under the License.
brokerClusterName=rocketmq-cluster
brokerName=broker-b
#slave
brokerId=1
deleteWhen=04
fileReservedTime=168
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11011
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=10.30.1.130:9876;10.30.1.131:9876
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=10.30.1.130
#存储路径
storePathRootDir=/data/rocketmq/store-b
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store-b/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue=/data/rocketmq/store-b/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store-b/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store-b/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store-b/abort
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

#部分代码未共享，QQ 857676355

启动nameserver

进入 [root@localhost ~]# cd /usr/local/rocketmq/bin 目录 

启动 nohup sh mqnamesrv &

检验是否安装成功

tail -f ~/logs/rocketmqlogs/namesrv.log

如果此时报错

/usr/local/rocketmq/bin/runserver.sh: line 19: syntax error near unexpected token `$'\r''
'usr/local/rocketmq/bin/runserver.sh: line 19: `error_exit ()
解决方法，拷贝的文件格式错乱使用下面命令乎看到文件后面多了^M
[root@bogon bin]# vim -b runserver.sh 

去掉^M 再重新启动
[root@bogon bin]# sed -i 's/\r//g' runserver.sh

ss -tnap | grep 9876

启动broker master

服务器A 部署 RocketMQ 控制台：

docker run -d --name rmqconsole \
-p 8180:8080 \
--restart=always \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=10.30.1.130:9876;10.30.1.131:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
docker.io/styletang/rocketmq-console-ng


10、访问控制台

输入 http://192.168.41.247:8180 访问在服务器一部署的 RocketMQ 控制台，进入到如下界面
「已注销」
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
Docker安装RocketMQ详细教程
热门推荐
咸鱼想睡觉
10-25 2万+
Docker安装RocketMQ详细教程
Docker搭建RocketMQ集群
m0_37999219的博客
06-04 1万+
服务器环境：centos7安装用户：root，关闭防火墙使用一键式搭建docker环境下的RocketMQ集群及其管理工具，实现rocketmq在docker环境容器外部访问。
【消息队列】Docker安装RocketMQ及整合使用
最新发布
m0_58660606的博客
06-19 564
Apache RocketMQ 是一款低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列 RocketMQ 可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。
阿里云轻量服务器--Docker--RocketMq安装
拽着尾巴的鱼儿的博客
05-26 2584
RocketMQ支持多种消息模式，包括异步传输、同步传输和单向传输，并支持多种订阅模式，包括广播模式和集群模式。RocketMQ还提供了丰富的API和管理工具，可以轻松地进行消息的发送、订阅和管理。-多样化的API和管理工具：RocketMQ提供了多样化的API和管理工具，方便用户进行消息发送、订阅和管理。多种订阅模式：RocketMQ支持广播模式和集群模式，可以根据具体需求选择合适的订阅模式。同步和异步传输：RocketMQ支持同步和异步传输两种方式，根据业务需要选择合适的方式。
Docker安装RocketMQ
qq_43600166的博客
02-20 7808
Docker安装RocketMQ nameserve，broker安装。Linux安装rocetmq，安装rocketmq可视化界面rocketmq-console
RocketMQ(2)---Docker部署RocketMQ集群
后端元宇宙
02-20 3660
RocketMQ(2)—Docker集群部署RocketMQ =前言= 1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。 2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。 之所以选用Docker部署主要还是考虑 ：通过Docker部署...
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
rocketMq 的 docker-compose安装包
08-14
总的来说，通过 Docker Compose 安装 RocketMQ 提供了一种简洁、可重复的方式，使得部署和管理 RocketMQ 集群变得更加简单。理解 Docker Compose 文件的结构和 RocketMQ 的核心组件配置是成功部署的关键。通过不断的...
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。...使用 Docker-Compose 搭建 RocketMQ 集群可以快速部署和管理容器集群，提高了开发效率和灵活性。
RocketMQ-DockerCompose
12-27
总的来说，"RocketMQ-DockerCompose"项目结合了RocketMQ的高效消息处理能力和Docker Compose的便捷部署特性，为开发者提供了一个快速启动和管理RocketMQ开发环境的解决方案。通过理解"Docker-compose.yml"的配置和...
RocketMQ Docker部署
2301_76607156的博客
04-10 3334
在JDK8之前，我们使用的Java多线程变成，主要是来完成，但是这种方式有个弊端就是没有返回值。如果想要返回值怎么办呢，大多数人就会想到 Callable + Thread的方式来获取到返回值。});复制代码从运行上面代码可以知道当调用代码的时候，当前主线程是阻塞状态，另一种方式获取到返回值就是通过轮询来判断任务是否做完获取返回值。Runnable+Thread虽然提供了多线程的能力但是没有返回值。
Rocketmq详解02-mq安装
a2868221132的博客
06-23 2073
1.创建namesrv服务 拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0 创建namesrv数据存储路径 mkdir -p /docker/rocketmq/data/namesrv/logs /docker/rocketmq/data/namesrv/store 构建namesrv容器 docker run -d \ --restart=always \ --name rmqnamesrv \ -p 9876:9876 \ -v /docker/rock
docker安装RocketMQ(附填坑经验connect to ＜172.17.0.3:10909＞ failed)
flyq_coffee
07-04 3866
，但是没有解决此问题，实际导致此问题的是RocketMQ配置文件，请核查RocketMQ配置文件，或者采用上方提供的配置文件。在RocketMQ集群中，可以有多个Broker实例，各个Broker通过与Namesrv交互来维护消息的元数据和路由信息，以实现高可用、负载均衡的消息传输。进入RocketMQ控制台，控制台显示的集群地址为172.17.0.3:10909，并非172.16.234.150:10909，172.17.0.3实际为docker内部分配的ID，需要此IP修改为虚拟机的IP。
RocketMQ（一）使用docker-compose部署RocketMQ 4.9.4集群
bacawa的博客
05-06 5190
docker-compose部署rocketMQ 4.9.4集群，并做数据持久化
Docker部署RocketMQ5.x (单机部署+配置参数详解+不使用docker-compose直接部署)
kerwin的博客
03-26 1万+
Docker部署RocketMQ5.x 单机部署+配置参数详解+不使用docker-compose直接部署，处理通过环境变量配置堆内存容器内部不生效问题
RocketMq简介及安装、docker安装rocketmq、安装rocketmq可视化管理端
wangjun5159的专栏
11-06 1154
rocketmq有两部分，nameserver和broker，nameserver用来维护broker的地址、向生产者、消费者推送broker的最新地址；broker用来存储、转发消息；也就是说，生产者首先要连接nameServer获取到broker的地址，然后将消息发送到broker，通过broker再将消息传递到消费者；所以用docker安装rocketmq时，要启动两个容器，一个nameserver、一个broker，这两者要网络互通；nameServer暴露的端口通常是9876；
Docker----RocketMQ部署
梦想的边缘
07-03 666
标题RocketMQ部署 一、拉取镜像 RocketMQ镜像 # 拉取镜像 docker pull rocketmqinc/rocketmq:4.3.2 Console可视化平台镜像 # 拉取镜像 docker pull styletang/rocketmq-console-ng:1.0.0 # 修改镜像名字 docker tag 【镜像id】 rocketmq-console:1.0.0 二、挂载目录 注意：目录按照自己的实际路径来 1、创建nameserver挂载目录 mkdir -p /dock
docker部署rocketmq
qq_33903859的博客
06-02 482
以我的本机为例，E:\data\rocketmq-data下创建broker和nameserver文件夹。broker文件夹下建conf,logs,store 三个文件夹。nameserver文件夹下建logs和store目录。conf文件夹下建broker.conf文件。3.创建rockermq-console服务。broker.conf文件内容如下。1.创建namesrv服务。2.2 启动broker。2.创建broker。
Docker部署RocketMQ集群
07-28
Docker 部署 RocketMQ 集群的步骤如下： 1. 下载 RocketMQ 的 Docker 镜像，可以从 Docker Hub 上下载，也可以自己构建镜像。 2. 创建一个 Docker 网络，用于 RocketMQ 集群内部通信。 3. 启动 NameServer 容器，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值