【部署】【一】制作 RocketMQ 的 Docker 镜像

最新推荐文章于 2024-05-11 09:53:00 发布
最新推荐文章于 2024-05-11 09:53:00 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： RocketMQ 文章标签： RocketMQ 部署 docker 镜像
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37946205/article/details/86617965
版权

查看 RocketMQ 系列文章目录

环境准备和最终目标

  • 准备一：Linux 主机，笔者用的是阿里云 ECS，预装 Centos7.4 Docker18.03.1-ce
  • 准备二：基础 java 8 Docker 镜像，镜像中预装 unzip 解压工具
  • 目标一：在一台宿主机部署一个 Namesrv Container 和一个 Brocker Container
  • 目标二：通过管理命令实现对 RocketMQ 的运维管理
  • 目标三：运行官方写好的 demo 程序，实现 MQ 消息的收发

准备文件

目录
├── rocketmq
│   ├── scripts
│   │   ├── mqbroker-customize
│   │   ├── mqnamesrv-customize
│   │   ├── runbroker-customize.sh
│   │   ├── runserver-customize.sh
│   ├── Dockerfile
rocketmq/scripts/mqbroker-customize
#!/bin/bash
#
# Program:
#     this program customize RocketMQ mqbroker, user can add jvm param with "--jvm"
# History:
# 2019/01/23    Zhaofeng.L<8362549@qq.com>    v1.0
#

if [ -z "$ROCKETMQ_HOME" ] ; then
  ## resolve links - $0 may be a link to maven's home
  PRG="$0"

  # need this for relative symlinks
  while [ -h "$PRG" ] ; do
    ls=`ls -ld "$PRG"`
    link=`expr "$ls" : '.*-> \(.*\)$'`
    if expr "$link" : '/.*' > /dev/null; then
      PRG="$link"
    else
      PRG="`dirname "$PRG"`/$link"
    fi
  done

  saveddir=`pwd`

  ROCKETMQ_HOME=`dirname "$PRG"`/..

  # make it fully qualified
  ROCKETMQ_HOME=`cd "$ROCKETMQ_HOME" && pwd`

  cd "$saveddir"
fi

export ROCKETMQ_HOME

if [ -z "$1" ]||[ "$1" != "--jvm" ]; then
    sh ${ROCKETMQ_HOME}/bin/runbroker.sh \
     org.apache.rocketmq.broker.BrokerStartup \
     -c /opt/rocketmq/conf/broker.conf $@
else
    JVM_KEY="$1"
    JVM_VALUE="$2"
    shift 2
    sh ${ROCKETMQ_HOME}/bin/runbroker.sh ${JVM_KEY} "${JVM_VALUE}" \ 
     org.apache.rocketmq.broker.BrokerStartup \
     -c /opt/rocketmq/conf/broker.conf $@
fi
rocketmq/scripts/mqnamesrv-customize
#!/bin/sh
#
# Program:
#     this program customize RocketMQ mqnamesrv, user can add jvm param with "--jvm"
# History:
# 2019/01/23    Zhaofeng.L<8362549@qq.com>    v1.0
#

if [ -z "$ROCKETMQ_HOME" ] ; then
  ## resolve links - $0 may be a link to maven's home
  PRG="$0"

  # need this for relative symlinks
  while [ -h "$PRG" ] ; do
    ls=`ls -ld "$PRG"`
    link=`expr "$ls" : '.*-> \(.*\)$'`
    if expr "$link" : '/.*' > /dev/null; then
      PRG="$link"
    else
      PRG="`dirname "$PRG"`/$link"
    fi
  done

  saveddir=`pwd`

  ROCKETMQ_HOME=`dirname "$PRG"`/..

  # make it fully qualified
  ROCKETMQ_HOME=`cd "$ROCKETMQ_HOME" && pwd`

  cd "$saveddir"
fi

export ROCKETMQ_HOME

if [ -z "$1" ]||[ "$1" != "--jvm" ]; then
    sh ${ROCKETMQ_HOME}/bin/runserver.sh org.apache.rocketmq.namesrv.NamesrvStartup $@
else
    JVM_KEY="$1"
    JVM_VALUE="$2"
    shift 2
    sh ${ROCKETMQ_HOME}/bin/runserver.sh ${JVM_KEY} "${JVM_VALUE}" org.apache.rocketmq.namesrv.NamesrvStartup $@
fi
rocketmq/scripts/runbroker-customize.sh
#!/bin/bash
#
# Program:
#     this program customize RocketMQ runbroker.sh, user can add jvm param with "--jvm"
# History:
# 2019/01/23    Zhaofeng.L<8362549@qq.com>    v1.0
#

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
if [ -z "$1" ]||[ "$1" != "--jvm" ]; then
    JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"
else
    JAVA_OPT="${JAVA_OPT} -server $2"
    shift 2
fi
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:SurvivorRatio=8"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/dev/shm/mq_gc_%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy"
JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:+AlwaysPreTouch"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=15g"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages -XX:-UseBiasedLocking"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

numactl --interleave=all pwd > /dev/null 2>&1
if [ $? -eq 0 ]
then
        if [ -z "$RMQ_NUMA_NODE" ] ; then
                numactl --interleave=all $JAVA ${JAVA_OPT} $@
        else
                numactl --cpunodebind=$RMQ_NUMA_NODE --membind=$RMQ_NUMA_NODE $JAVA ${JAVA_OPT} $@
        fi
else
        $JAVA ${JAVA_OPT} $@
fi
rocketmq/scripts/runserver-customize.sh
#!/bin/bash
#
# Program:
#     this program customize RocketMQ runserver.sh, user can add jvm param with "--jvm"
# History:
# 2019/01/23    Zhaofeng.L<8362549@qq.com>    v1.0
#

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
if [ -z "$1" ]||[ "$1" != "--jvm" ]; then
    JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
else
    JAVA_OPT="${JAVA_OPT} -server $2 -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    shift 2
fi
JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8  -XX:-UseParNewGC"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/dev/shm/rmq_srv_gc.log -XX:+PrintGCDetails"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT}  -XX:-UseLargePages"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
# JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@
rocketmq/Dockerfile
#
# Program:
#     Make RocketMQ docker image
#
# History:
#     2019/01/23    v1.0
#

FROM onesoso/java:8

MAINTAINER Zhaofeng.L<8362549@qq.com>

ARG version

# Rocketmq version
ENV ROCKETMQ_VERSION ${version}

# Rocketmq home
ENV ROCKETMQ_HOME /opt/rocketmq

WORKDIR  ${ROCKETMQ_HOME}

# get rocketmq program
RUN curl https://dist.apache.org/repos/dist/release/rocketmq/${ROCKETMQ_VERSION}/rocketmq-all-${ROCKETMQ_VERSION}-bin-release.zip -o rocketmq.zip \
 && unzip rocketmq.zip \
 && mv rocketmq-all*/* . \
 && rmdir rocketmq-all*  \
 && rm rocketmq.zip

# add scripts
COPY scripts/ ${ROCKETMQ_HOME}/bin/

VOLUME ${ROCKETMQ_HOME}/conf 

# expose namesrv port
EXPOSE 9876

# add customized scripts for mqnamesrv
RUN mv ${ROCKETMQ_HOME}/bin/mqnamesrv-customize ${ROCKETMQ_HOME}/bin/mqnamesrv \
 && chmod +x ${ROCKETMQ_HOME}/bin/mqnamesrv

# add customized scripts for runserver.sh
RUN mv ${ROCKETMQ_HOME}/bin/runserver-customize.sh ${ROCKETMQ_HOME}/bin/runserver.sh \
 && chmod +x ${ROCKETMQ_HOME}/bin/runserver.sh

# expose broker ports
EXPOSE 10909 10911

# add customized scripts for mqbroker
RUN mv ${ROCKETMQ_HOME}/bin/mqbroker-customize ${ROCKETMQ_HOME}/bin/mqbroker \
 && chmod +x ${ROCKETMQ_HOME}/bin/mqbroker

# add customized scripts for runuroker.sh
RUN mv ${ROCKETMQ_HOME}/bin/runbroker-customize.sh ${ROCKETMQ_HOME}/bin/runbroker.sh \
 && chmod +x ${ROCKETMQ_HOME}/bin/runbroker.sh

# export Java options
RUN export JAVA_OPT=" -Duser.home=/opt"

WORKDIR ${ROCKETMQ_HOME}/bin

生成 Docker 镜像

docker build -t onesoso/rocketmq:4.4.0.1 --build-arg version=4.4.0 ./rocketmq

启动容器

创建 rocketmq 网络
docker network create rocket_mq
启动 namesrv
docker run \
--name namesrv \
--network rocket_mq \
-p 9876:9876 \
-v /root/namesrv/logs:/root/logs \
-v /root/namesrv/store:/root/store \
-d onesoso/rocketmq:4.4.0.1 sh mqnamesrv --jvm "-Xms512m -Xmx512m -Xmn256m"
启动 brocker
docker run \
--name broker \
--network rocket_mq \
-p 10911:10911 \
-p 10909:10909 \
-v /root/broker/logs:/root/logs \
-v /root/broker/store:/root/store \
-e "NAMESRV_ADDR=namesrv:9876" \
-d onesoso/rocketmq:4.4.0.1 sh mqbroker --jvm "-Xms512m -Xmx512m -Xmn256m"

测试运维管理

启动并进入管理容器
docker run --name admin --network rocket_mq -it onesoso/rocketmq:4.4.0.1 /bin/bash
运行<查看 namesrv 配置>管理命令
sh mqadmin getNamesrvConfig -n namesrv:9876

控制台能够输出 namesrv 的全部配置，说明管理命令运行成功

运行<查看 broker 配置>管理命令
sh mqadmin getBrokerConfig -b broker:10911 -n namesrv:9876

控制台能够输出 broker 的全部配置，说明管理命令运行成功

测试消息收发

启动并进入消息容器
docker run --name message --network rocket_mq -it onesoso/rocketmq:4.4.0.1 /bin/bash
测试发送消息
export NAMESRV_ADDR=namesrv:9876
sh tools.sh org.apache.rocketmq.example.quickstart.Producer

控制台能够输出 SendResult [sendStatus=SEND_OK ... 说明发送消息成功

测试消费消息
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

控制台能够输出 ConsumeMessageThread_XX Receive New Messages: ... 说明消费消息成功

望山跑死码
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
RocketMQ-DockerCompose
12-27
这表明项目是关于如何利用Docker Compose来管理和部署RocketMQ的实例，对于熟悉这些技术的开发者来说，这是一个非常实用的资源。 总的来说，"RocketMQ-DockerCompose"项目结合了RocketMQ的高效消息处理能力和Docker...
【Docker】RocketMQ5.1.0的配置部署与基于SpringBoot3.0.5的代码基础配置
CatalpaWoo的博客
04-29 3594
RocketMQ5.1.0的Docker配置部署与基于SpringBoot3.0.5的代码基础配置
Docker部署RocketMQ5.x (单机部署+配置参数详解+不使用docker-compose直接部署)
热门推荐
kerwin的博客
03-26 1万+
Docker部署RocketMQ5.x 单机部署+配置参数详解+不使用docker-compose直接部署，处理通过环境变量配置堆内存容器内部不生效问题
使用docker-compose/docker部署RocketMQ5.x 单机部署+配置参数详解
最新发布
小匠的Blog
05-11 741
Broker启动脚本中有一个自动计算最大堆内存和新生代内存的函数会导致在不同硬件环境下设置最大堆内存和新生代内存环境变量不被应用，，这里先提前copy一份容器内部启动脚本做挂载，如果想自定义内存可以自己调整。1、启动容器2、复制容器内启动脚本到挂载目录/usr/local/rocketmq/nameserver/bin3、修改runbroker.sh# 打开脚本文件找到调用calculate_heap_sizes函数的位置注释掉保存即可，拉到脚本最底部就能找到4、停止&删除容器。
docker 部署rocketmq 5.0
qq_33892404的博客
05-29 1500
docker部署rocketmq5.0.0
使用docker-compose部署RocketMQ5.x 单机部署+配置参数详解
kerwin的博客
03-26 1万+
使用docker-compose部署RocketMQ5.x 单机部署+配置参数详解、使用docker-compose部署RocketMQ
rocketmq：Apache RocketMQ的镜像
02-07
Apache RocketMQ 是一个分布式消息传递和流平台，具有低延迟，高性能和可靠性，万亿级容量和灵活的可伸缩性。 它具有多种功能： 消息模式包括发布/订阅，请求/答复和流式传输 财务级交易消息 基于内置容错和高...
Docker中RocketMQ的安装与使用详解
01-20
搜索RocketMQ的镜像，可以通过docker的hub...镜像倒是蛮多的，不过看来看去没有一个是官方发布的，我就随便选一个吧，如foxiswho/rocketmq，以下是一个查看当前镜像所有的版本shell命令： curl https://registry.hub.d
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
在这篇文章中，我们将使用 Docker-Compose 搭建一个 RocketMQ 5.1.0 集群，包括 NameServer、broker-a-master、broker-b-slave、broker-a-slave 和 broker-b-master 五个组件。 1. 环境说明 在本示例中，我们将...
rocketmq-externals：Apache RocketMQ的镜像（正在孵化）
02-17
在Kubernetes上部署RocketMQ。 它是使用Operator SDK开发的，该SDK是Operator Framework的一部分。 RocketMQ-控制台 新设计的RocketMQ控制台使用spring-boot。 提供用于构建和运行Docker映像的Dockerfile和bash脚本...
Docker打包制作rocketmq镜像
06-16
Docker打包制作rocketmq镜像(Dockerfile方式),并运行启动。 这里提供所有需要的文件，包括字体 ，lib，openoffice安装包。 提供dockerfile，build镜像脚本。
使用docker-compose部署RocketMQ5.0
cm777的博客
02-17 3364
使用docker-compose部署rocketmq5.0。文中会介绍docker-compose版本以及需要注意的项。
docker 部署rocketmq 5.1.1 集群
weixin_42123110的博客
12-01 300
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + S
RocketMQ-docker镜像的制作与部署
张维鹏的博客
01-18 3082
本文主要介绍下 RocketMQ-docker 镜像的制作与部署，方便在不同环境快速启动RocketMQ，核心操作分为三个：NameServer 镜像的制作与部署、Broker 镜像的制作与部署、console 镜像的制作与部署。
docker-compose搭建rocketMQ
weixin_39701913的博客
12-04 445
version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876:9876 volumes: - ./data/logs:/opt/logs - ./data/store:/opt/store networks: rmq: aliases: ...
RocketMQ的Docker镜像部署（以及Dashboard的部署、ACL配置）
蒋含竹的博客
12-21 2509
RocketMQ的Docker镜像部署，以及Dashboard的部署、ACL配置
RocketMQ 5.x新版本部署优化一览
roykingw的专栏
02-24 2931
RocketMQ 5.x版本快速上手
Docker-compose部署Rocketmq
一条没有梦想的闲鱼的博客
06-25 633
docker部署rocketmq
rocketmq docker
09-05
要使用RocketMQ Docker镜像部署RocketMQ，你可以按照以下步骤进行操作： 1. 首先，你需要创建一个用于存储RocketMQ数据的目录。你可以使用以下命令来创建这些目录： ``` mkdir -p /docker/rocketmq/data/broker/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值