Docker部署RocketMQ集群

最新推荐文章于 2024-05-09 18:21:35 发布
最新推荐文章于 2024-05-09 18:21:35 发布
阅读量355 收藏 2
点赞数
分类专栏： Docker 文章标签： docker linux
原文链接：https://www.cnblogs.com/qdhxhz/p/11096682.html
版权

文章目录

前言

本文转载
https://www.cnblogs.com/qdhxhz/p/11096682.html

亲测可用, 学习参考，使用伪集群形式搭建。

一、写配置文件

1、创建所需文件夹

mkdir -p  /opt/rocketmq/logs/nameserver-a
mkdir -p  /opt/rocketmq/logs/nameserver-b
mkdir -p /opt/rocketmq/store/nameserver-a
mkdir -p /opt/rocketmq/store/nameserver-b
mkdir -p /opt/rocketmq/logs/broker-a
mkdir -p /opt/rocketmq/logs/broker-b
mkdir -p /opt/rocketmq/store/broker-a
mkdir -p /opt/rocketmq/store/broker-b
mkdir -p /home/rocketmq/broker-a/
mkdir -p /home/rocketmq/broker-b/

2、创建broker.conf

broker.conf是Broker的配置文件，因为此时RocketMQ镜像还没有拉取,所以还没有默认的broker.conf。所以这里直接写好，到时候通过命令替换默认的broker.conf。

因为是双主模式部署，所以会有两个broker.conf,这里暂且命名 broker-a.conf 和 broker-b.conf

  1. broker-a.conf
brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 0
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
brokerIP1 = xxxxx
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.18.0.5:9876;172.18.0.5:9877
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10911
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

这里配置的主要信息有：

1、当前Broker对外暴露的端口号
2、注册到NameServer的地址，看到这里有两个地址，说明NameServer也是集群部署。
3、当前Broker的角色，是主还是从，这里表示是主。

2）broker-b.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 0
brokerIP1 = xxxxx
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.18.0.5:9876;172.18.0.5:9877
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10909
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

这个上面并无差别，只是当前Brocker对外暴露的端口不一样。

3、编写 docker-compose.yml

我们可以简单把docker-compose.yml理解成一个类似Shell的脚本，这个脚本定义了运行多容器应用程序的信息。

version: '3.5'
services:
  rmqnamesrv-a:
    image: rocketmqinc/rocketmq:4.3.0
    container_name: rmqnamesrv-a
    ports:
      - 9876:9876
    volumes:
      - /opt/rocketmq/logs/nameserver-a:/opt/logs
      - /opt/rocketmq/store/nameserver-a:/opt/store
    command: sh mqnamesrv
    networks:
        rmq:
          aliases:
            - rmqnamesrv-a

  rmqnamesrv-b:
    image: rocketmqinc/rocketmq:4.3.0
    container_name: rmqnamesrv-b
    ports:
      - 9877:9877
    volumes:
      - /opt/rocketmq/logs/nameserver-b:/opt/logs
      - /opt/rocketmq/store/nameserver-b:/opt/store
    command: sh mqnamesrv
    networks:
        rmq:
          aliases:
            - rmqnamesrv-b

  rmqbroker-a:
    image: rocketmqinc/rocketmq:4.3.0
    container_name: rmqbroker-a
    ports:
      - 10911:10911
    volumes:
      - /opt/rocketmq/logs/broker-a:/opt/logs
      - /opt/rocketmq/store/broker-a:/opt/store
      - /home/rocketmq/broker-a/broker-a.conf:/opt/rocketmq-4.3.0/conf/broker.conf 
    environment:
        TZ: Asia/Shanghai
        NAMESRV_ADDR: "rmqnamesrv-a:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    command: sh mqbroker -c /opt/rocketmq-4.3.0/conf/broker.conf autoCreateTopicEnable=true &
    links:
      - rmqnamesrv-a:rmqnamesrv-a
      - rmqnamesrv-b:rmqnamesrv-b
    networks:
      rmq:
        aliases:
          - rmqbroker-a

  rmqbroker-b:
    image: rocketmqinc/rocketmq:4.3.0
    container_name: rmqbroker-b
    ports:
      - 10909:10909
    volumes:
      - /opt/rocketmq/logs/broker-b:/opt/logs
      - /opt/rocketmq/store/broker-b:/opt/store
      - /home/rocketmq/broker-b/broker-b.conf:/opt/rocketmq-4.3.0/conf/broker.conf 
    environment:
        TZ: Asia/Shanghai
        NAMESRV_ADDR: "rmqnamesrv-b:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    command: sh mqbroker -c /opt/rocketmq-4.3.0/conf/broker.conf autoCreateTopicEnable=true &
    links:
      - rmqnamesrv-a:rmqnamesrv-a
      - rmqnamesrv-b:rmqnamesrv-b
    networks:
      rmq:
        aliases:
          - rmqbroker-b
  rmqconsole:
    image: styletang/rocketmq-console-ng
    container_name: rmqconsole
    ports:
      - 9001:9001
    environment:
        JAVA_OPTS: -Drocketmq.namesrv.addr=rmqnamesrv-a:9876;rmqnamesrv-b:9877 -Dcom.rocketmq.sendMessageWithVIPChannel=false
    networks:
      rmq:
        aliases:
          - rmqconsole
networks:
  rmq:
    name: rmq
    driver: bridge

从配置文件可以大致看出几点：

1、通过Docker总共拉取了5条镜像记录。rmqnamesrv-a、rmqnamesrv-b、rmqbroker-a、rmqbroker-b、rmqconsole。
2、rmqconsole是一个可视化的工具，可以通过页面来查看RocketMQ相关信息。
3、可以看出对于broker的配置文件broker.conf已经被broker-a/b.conf替换。

二、环境部署

上面仅仅是把配置文件写好，但启动RocketMQ还有很多前提条件
1、所需环境

1. 建议使用64位操作系统，Linux / Unix / Mac;
2. 64位JDK 1.8+;
3. Maven 3.2.x;
4. Git的;
5. 4g +免费磁盘用于Broker服务器

同时需要运行docker-compose.yml还需要安装docker-compose
2、安装docker-compose

有关的介绍可以看官方GitHub : https://github.com/docker/compose

安装docker-compose

curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

查看是否安装成功

[root@localhost ~]# docker-compose --version
docker-compose version 1.24.1, build 4667896b

3、关键一步

前面所有的操作，都是为这一步的铺垫,通过docker-compose执行docker-compose.yml配置文件

[root@localhost rocketmq]# docker-compose up -d
Creating network "rmq" with driver "bridge"
Creating rmqnamesrv-b ... done
Creating rmqconsole   ... done
Creating rmqnamesrv-a ... done
Creating rmqbroker-a  ... done
Creating rmqbroker-b  ... done

[root@localhost rocketmq]# docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                                    NAMES
b0364b12f154        rocketmqinc/rocketmq:4.3.0      "sh mqnamesrv"           21 seconds ago      Up 19 seconds       10909/tcp, 0.0.0.0:9876->9876/tcp, 10911/tcp             rmqnamesrv-a
1b3a75c6240c        rocketmqinc/rocketmq:4.3.0      "sh mqnamesrv"           21 seconds ago      Up 19 seconds       9876/tcp, 10909/tcp, 10911/tcp, 0.0.0.0:9877->9877/tcp   rmqnamesrv-b
9958218d5010        styletang/rocketmq-console-ng   "sh -c 'java $JAVA..."   21 seconds ago      Up 19 seconds       0.0.0.0:9001->8080/tcp                                   rmqconsole
[root@localhost rocketmq]#

查看可视化界面
图片.png

eddie_k2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
在docker上部署rocketmq遇到控制台无法访问的问题解决
qq_28228605的博客
10-26 4856
参考： 基于 Docker 安装 RocketMQ docker部署rocketmq步骤 1.创建docker-compose.yml文件 注意： 启动 RocketMQ Server + Broker + Console 至少需要 2G 内存 version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876.
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
RocketMQ
CECT151的博客
06-15 753
一.核心概念 1. Producer -消息生产者，负责产生消息，一般由业务系统负责产生消息。 -Producer Group - 一类 Producer 的集合名称，这类 Producer 通常发送一类消息，且发送逻辑一致。 2.Consumer -消息费者，负责消费消息，一般是后台系统负责异步消费。 - Push Consumer 服务端向消费者端推送消息 - Pull Consumer 消费者端向服务定时拉取消息 ......
RocketMQ-broker.conf 配置文件
v慕言的博客
07-10 5989
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
最新发布
2401_83974607的博客
05-09 1104
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
【Docker】RocketMQ5.1.0的配置部署与基于SpringBoot3.0.5的代码基础配置
CatalpaWoo的博客
04-29 3583
RocketMQ5.1.0的Docker配置部署与基于SpringBoot3.0.5的代码基础配置
rocketmq集群搭建以及消息顺序消费，消息事务等功能理解
weixin_36279234的博客
06-13 1050
下载当前最新版本的rocketmq：Release Notes - Apache RocketMQ - Version 4.9.3 - Apache RocketMQ rocketmq是java实现的，由于它的高并发而且低延迟的特性，所需要的内存很大，解压后需要修改runserver.sh和runbroker.sh配置文件的堆大小以及元数据空间大小，将默认的java heap配置根据自己虚机的资源进行调整。我的机器实在太烂，堆内存设置比较小runserver.sh runbroker.sh 修改c
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。...使用 Docker-Compose 搭建 RocketMQ 集群可以快速部署和管理容器集群，提高了开发效率和灵活性。
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
RocketMQ-3.5.8双主双从配置及部署说明
10-29
`RocketMQ笔记(1)_Linux下编译部署.pdf`文档将指导你如何在Linux系统上编译和安装RocketMQ。步骤通常包括： 1. 安装必要的依赖，如JDK、Maven等。 2. 下载RocketMQ源码。 3. 使用Maven进行编译。 4. 配置环境变量，...
Docker安装RocketMQ
csp732171109的博客
04-24 1466
安装环境 Docker Docker-Compose 安装 RocketMQ rmqnamesrv：名字服务； rmqbroker：代理服务器； rocketmq-console：控制台（可视化界面）； 准备目录与配置文件 rocketmq /conf broker.conf docker-compose.yml broker.conf brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0
快速学习-RocketMQ架构设计
逍遥云恋
09-18 426
架构设计 1 技术架构 RocketMQ架构上主要分为四部分，如上图所示: Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。 Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求。 NameServer：NameServer是一
Rocket mq安装
weixin_40018205的博客
11-18 129
catdocker-compose-mq.yml version:‘3’ services: rmqnamesrv: image:foxiswho/rocketmq:server container_name:rmqnamesrv ports: -9876:9876 volumes: -/etc/localtime:/etc/localtime:ro -./rocketmq/server/logs:/opt/logs -./rocketmq/server/store:/opt/store networks:
docker rocketmq 安装及使用
热门推荐
风.foxwho(神秘狐)
09-13 1万+
rocketmq docker hub地址 https://hub.docker.com/r/foxiswho/rocketmq/ 风.fox 启动 rocketmq server 容器 docker run -d -p 9876:9876 --name rmqserver foxiswho/rocketmq:server 启动 rocketmq broker 容器 dock...
使用docker部署rocketmq时的坑
工具人的博客
08-17 1万+
官方docker项目地址: https://github.com/apache/incubator-rocketmq-externals 里面有rocketmq的docker运行文档如果同时需要docker运行console需要注意一个问题 下面是官方文档中运行console的命令，里面的JAVA_OPTS参数是不正确的，不知道是不是版本原因docker run -e "JAVA_OPTS=
Docker 下 RocketMQ 安装（namesrv、broker和rockermq-console）
MR.骑士道
02-17 1990
Docker 下 RocketMQ 安装（namesrv、broker和rockermq-console）
docker部署rocketmq深度历险！各种bug带你解决
weixin_30561177的博客
06-18 1123
首先上一篇博客，主要是按照他的来的。但是绝对比他遇到的bug多多了！！ https://www.jianshu.com/p/412a83c605f2 qq：153574139（可以给配置这个烦恼的朋友一点帮助）嘿嘿 第一步就是配置broker和namesrv,其实配置这个不难，就是要搞清楚docker的与虚拟机访问方式 如果你配置的地址是docker的ip，那么外网是无法访问的，所以...
docker部署rocketmq，本地应用访问不到broker解决办法
q2051190945的博客
07-14 2530
docker部署rocketmq，本地应用访问不到broker解决办法 参考博客：Docker部署RocketMQ. 最近按照这个博客在docker上部署了rocketmq，docker运行在虚拟机上，在windows上跑的测试程序连接上了nameserver但连接不上broker。本地代码如下： public class RocketMQSendMessage { //发送消息 public static void main(String[] args) throws Exception

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值