K8s部署Rocketmq小结

已于 2024-05-16 11:32:35 修改
阅读量1.1k 收藏 28
点赞数 10
分类专栏： 运维 文章标签： kubernetes rocketmq 容器
于 2024-05-16 11:25:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21790633/article/details/138835791
版权

K8S部署可以快速扩展Rocketmq集群

前言

本文旨在记录使用K8s部署Rocketmq中各种坑和注意事项，也参考了不是同站其他博主的帖子，但均不是特别满足我的需求，因此对他们的方案进行的一定的修改。本文，以一个虚拟的财务金融项目部署mq需求为例。

准备工作，拉取镜像

	选取的镜像版本为：
  apache/rocketmq:5.2.0
  rocketmq-dashboard:1.0.0

1、基于原有镜像编译新镜像

主要是为了方便快速扩展而 使用，非必须，但是在本文是很重要的前置步骤。

运行一个镜像拷贝出runbroker.sh、runserver.sh

注：仅展示修改项，折叠的为原始文件内容。

runbroker.sh 修改如下

#!/bin/bash


#复制挂载文件
cp /path/to/mounted/config/broker.conf /home/rocketmq/broker.conf

ORDINAL=${POD_NAME##*-}
# 替换brokerID
sed -i "s/\${BROKER_ID}/${ORDINAL}/g" /home/rocketmq/broker.conf
# 替换配置文件中的 ${POD_NAME}
sed -i "s/\${POD_NAME}/${POD_NAME}/g" /home/rocketmq/broker.conf

#注释动态计算堆。改成从jvm参数指明
#calculate_heap_sizes

runserver.sh修改如下：

#!/bin/bash
#注释动态计算堆。改成从jvm参数指明
#calculate_heap_sizes

Dockfile


FROM apache/rocketmq:5.2.0

WORKDIR /home/rocketmq/rocketmq-5.2.0/bin

#启动broker脚本
COPY runbroker.sh /home/rocketmq/rocketmq-5.2.0/bin

#启动nameserver脚本
COPY runserver.sh /home/rocketmq/rocketmq-5.2.0/bin

构建镜像并推送至自建的Harbor。

2、创建k8s SC（StorageClass）存储类

我这里采用openebs的本地方式实现存储类。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: openebs-rocketmq
  annotations:
    openebs.io/cas-type: local
    storageclass.kubernetes.io/is-default-class: "false"
    cas.openebs.io/config: |
      #hostpath type will create a PV by
      # creating a sub-directory under the
      # BASEPATH provided below.
      - name: StorageType
        value: "hostpath"
      #Specify the location (directory) where
      # where PV(volume) data will be saved.
      # A sub-directory with pv-name will be
      # created. When the volume is deleted,
      # the PV sub-directory will be deleted.
      #Default value is /var/openebs/local
      - name: BasePath
        value: "/data/openebs/rocketmq"
provisioner: openebs.io/local
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Retain

查看验证SC

kubectl get sc|grep mq
openebs-rocketmq            openebs.io/local   Retain          WaitForFirstConsumer   false                  17h

3、部署nameserver

先创建命名空间

#创建namespace
kubectl create ns finance-envir

nameserver的部署比较简单，直接放yaml

注： 创建headless Service，专用于内部节点寻址，不对外暴露。因最终mq客户端也在k8s集群，因此nameserver和broker均不对暴露，仅dashboard对外提供nodeport方式访问方式,便于观测维护集群。

kubectl apply -f 执行文件

headless yaml:

apiVersion: v1
kind: Service
metadata:
  name: rocketmq-name-src-service
  namespace: finance-envir
spec:
  selector:
    app: finance-rocketmq-name-srv
  ports:
    - name: name-service-port
      port: 9876
      protocol: TCP
  clusterIP: None

namesrv yaml:

kind: StatefulSet
apiVersion: apps/v1
metadata:
  name: finance-rocketmq-name-srv
  namespace: finance-envir
  labels:
    app: finance-rocketmq-name-srv
spec:
  serviceName: 'rocketmq-name-src-service'
  replicas: 1
  selector:
    matchLabels:
      app: finance-rocketmq-name-srv
  template:
    metadata:
      labels:
        app: finance-rocketmq-name-srv
    spec:
      containers:
        - name: finance-rocketmq-name-srv
          image: 'apache/rocketmq:5.2.0'
          command: ["sh", "mqnamesrv"]
          ports:
            - name: tcp-9876
              containerPort: 9876
              protocol: TCP
          resources:
            limits:
              cpu: 500m
              memory: 512Mi
            requests:
              cpu: 50m
              memory: 256Mi
          volumeMounts:
            - name: rocketmq-namesrv-storage
              mountPath: /home/rocketmq/logs
              subPath: logs
          imagePullPolicy: Always
  volumeClaimTemplates:
    - metadata:
        name: rocketmq-namesrv-storage
      spec:
        accessModes:
          - ReadWriteOnce
        storageClassName: openebs-rocketmq
        resources:
          requests:
            storage: 20Gi

4、部署master

  1. 创建configmap

yaml如下：

kind: ConfigMap
apiVersion: v1
metadata:
  name: finance-rocketmq-broker-master-config
  namespace: finance-envir
data:
  broker.conf: |-
    brokerClusterName = DefaultCluster
    brokerId = 0
    brokerName = finance-rocketmq-${BROKER_ID}
    brokerIp1 = ${POD_NAME}.finance-rocketmq-broker-master.finance-envir.svc.cluster.local
    deleteWhen = 04
    fileReservedTime = 48
    brokerRole = ASYNC_MASTER
    flushDiskType = ASYNC_FLUSH

上述在配置文件中使用了占位符，因为Rocketmq是通过brokerName 来联系主从，为了方便快捷扩展一主一从模式，因此采用了占位符。后面有演示效果。而Ip则设置为通过headless可以查询的方式，即通过podname.service.namsespace.xxx的方式，在部署statefulSet中常用。

  1. 创建headless service
    yaml如下：
apiVersion: v1
kind: Service
metadata:
  name: finance-rocketmq-broker-master
  namespace: finance-envir
spec:
  selector:
    app: finance-rocketmq-broker-master
  ports:
    - name: tcp-vip-10909
      port: 10909
      protocol: TCP
    - name: tcp-vip-10911
      port: 10911
      protocol: TCP
    - name: tcp-vip-10912
      port: 10912
      protocol: TCP
  clusterIP: None
  1. 创建 broker
    yaml：
kind: StatefulSet
apiVersion: apps/v1
metadata:
  name: finance-rocketmq-broker-master
  namespace: finance-envir
  labels:
    app: finance-rocketmq-broker-master
spec:
  replicas: 1
  selector:
    matchLabels:
      app: finance-rocketmq-broker-master
  template:
    metadata:
      labels:
        app: finance-rocketmq-broker-master
    spec:
      volumes:
        - name: rocketmq-broker-config
          configMap:
            name: finance-rocketmq-broker-master-config
            items:
              - key: broker.conf
                path: broker.conf
          #  defaultMode: 420
        - name: host-time
          hostPath:
            path: /etc/localtime
            type: ''
      containers:
        - name: rocketmq-broker
          image: '你编译后的镜像地址'
          command: ["sh","mqbroker","-c","/home/rocketmq/broker.conf"]
          ports:
            - name: tcp-vip-10909
              containerPort: 10909
              protocol: TCP
            - name: tcp-main-10911
              containerPort: 10911
              protocol: TCP
            - name: tcp-ha-10912
              containerPort: 10912
              protocol: TCP
          env:
            - name: NAMESRV_ADDR
              value: finance-rocketmq-name-srv-0.rocketmq-name-src-service.finance-envir.svc.cluster.local:9876
            - name: MAX_HEAP_SIZE
              value: 512M
            - name: HEAP_NEWSIZE
              value: 256M
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
          resources:
            limits:
              cpu: 500m
              memory: 800Mi
            requests:
              cpu: 250m
              memory: 800Mi
          volumeMounts:
            - name: host-time
              readOnly: true
              mountPath: /etc/localtime
            - name: rocketmq-broker-storage
              mountPath: /home/rocketmq/logs
              subPath: logs/broker-0-master
            - name: rocketmq-broker-storage
              mountPath: /home/rocketmq/store
              subPath: store/broker-0-master
            - name: rocketmq-broker-config
              mountPath: /path/to/mounted/config/broker.conf
              subPath: broker.conf
          imagePullPolicy: Always
  volumeClaimTemplates:
    - kind: PersistentVolumeClaim
      apiVersion: v1
      metadata:
        name: rocketmq-broker-storage
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 10Gi
        storageClassName: openebs-rocketmq
        volumeMode: Filesystem
  serviceName: 'finance-rocketmq-broker-master'

注：

  • broker中使用Downward API将当前的podname注入进去，从而结合我们自定义的脚本更改占位符
  • 通过volumeClaimTemplates声明使用存储类以及限制大小
  • 指明nameserver地址，集群nameserver模式可以指明多个
  • 镜像为带我们修改后脚本新编译的镜像

5、部署slave

configmap yaml:

kind: ConfigMap
apiVersion: v1
metadata:
  name: finance-rocketmq-broker-slave-config
  namespace: finance-envir
data:
  broker.conf: |-
    brokerClusterName = DefaultCluster
    brokerId = 1
    brokerName = finance-rocketmq-${BROKER_ID}
    brokerIp1 = ${POD_NAME}.finance-rocketmq-broker-slave.finance-envir.svc.cluster.local
    deleteWhen = 04
    fileReservedTime = 48
    brokerRole = SLAVE
    flushDiskType = ASYNC_FLUSH

headless service yaml:

apiVersion: v1
kind: Service
metadata:
  name: finance-rocketmq-broker-slave
  namespace: finance-envir
spec:
  selector:
    app: finance-rocketmq-broker-slave
  ports:
    - name: tcp-vip-10909
      port: 10909
      protocol: TCP
    - name: tcp-vip-10911
      port: 10911
      protocol: TCP
    - name: tcp-vip-10912
      port: 10912
      protocol: TCP
  clusterIP: None

broker yaml:

kind: StatefulSet
apiVersion: apps/v1
metadata:
  name: finance-rocketmq-broker-slave
  namespace: finance-envir
  labels:
    app: finance-rocketmq-broker-slave
spec:
  replicas: 1
  selector:
    matchLabels:
      app: finance-rocketmq-broker-slave
  template:
    metadata:
      labels:
        app: finance-rocketmq-broker-slave
    spec:
      volumes:
        - name: rocketmq-broker-config
          configMap:
            name: finance-rocketmq-broker-slave-config
            items:
              - key: broker.conf
                path: broker.conf
          #  defaultMode: 420
        - name: host-time
          hostPath:
            path: /etc/localtime
            type: ''
      containers:
        - name: rocketmq-broker
          image: '修改后的镜像'
          command: ["sh","mqbroker","-c","/home/rocketmq/broker.conf"]
          ports:
            - name: tcp-vip-10909
              containerPort: 10909
              protocol: TCP
            - name: tcp-main-10911
              containerPort: 10911
              protocol: TCP
            - name: tcp-ha-10912
              containerPort: 10912
              protocol: TCP
          env:
            - name: NAMESRV_ADDR
              value: finance-rocketmq-name-srv-0.rocketmq-name-src-service.finance-envir.svc.cluster.local:9876
            - name: MAX_HEAP_SIZE
              value: 512M
            - name: HEAP_NEWSIZE
              value: 256M
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
          resources:
            limits:
              cpu: 500m
              memory: 800Mi
            requests:
              cpu: 250m
              memory: 800Mi
          volumeMounts:
            - name: host-time
              readOnly: true
              mountPath: /etc/localtime
            - name: rocketmq-broker-storage
              mountPath: /home/rocketmq/logs
              subPath: logs/broker-0-master
            - name: rocketmq-broker-storage
              mountPath: /home/rocketmq/store
              subPath: store/broker-0-master
            - name: rocketmq-broker-config
              mountPath: /path/to/mounted/config/broker.conf
              subPath: broker.conf
          imagePullPolicy: Always
  volumeClaimTemplates:
    - kind: PersistentVolumeClaim
      apiVersion: v1
      metadata:
        name: rocketmq-broker-storage
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 10Gi
        storageClassName: openebs-rocketmq
        volumeMode: Filesystem
  serviceName: 'finance-rocketmq-broker-slave'

对比master，仅在配置文件处指明了slave的相关信息，仅brokerId 为1的可以支持读写，并设置角色为slave。

6、部署dashboard

检查上诉各实例不出错的情况下，可以部署dashboard进行可视化观察。
yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: finance-rocketmq-dashboard
  namespace: finance-envir
  labels:
    app: finance-rocketmq-dashboard
spec:
  replicas: 1
  selector:
    matchLabels:
      app: finance-rocketmq-dashboard
  template:
    metadata:
      name: finance-rocketmq-dashboard
      labels:
        app: finance-rocketmq-dashboard
    spec:
      containers:
        - name: finance-rocketmq-dashboard
          image: apacherocketmq/rocketmq-dashboard:1.0.0
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 8080
              name: dashboard-web
              protocol: TCP
          env:
            - name: JAVA_OPTS
              value: ' -Xmx256M -Xms256M -Xmn128M -Drocketmq.namesrv.addr=finance-rocketmq-name-srv-0.rocketmq-name-src-service.finance-envir.svc.cluster.local:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false'
      restartPolicy: Always


---

apiVersion: v1
kind: Service
metadata:
  name: finance-rocketmq-dashboard
  namespace: finance-envir
spec:
  selector:
    app: finance-rocketmq-dashboard
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 8080
      nodePort: 32080
  type: NodePort

7、可视化观测
如果一切成功，即可访问 你的k8s节点的32080端口

标准集群一主一从：

在这里插入图片描述
通过yaml配置文件或者kubesphere等k8s管理工具，分别将master和slave增加一个副本，即可变为2主2从部署结构（因为自定义脚本以及statefulset的pod_name后缀是数字递增的原因，通过替换即可完成对应关系）。

在这里插入图片描述

从topic观测集群：

一主一从主题：
在这里插入图片描述
两主两从主题：
在这里插入图片描述

可见，可以通过修改statefulSet的实例数，迅速增加新的主从设置，不需要重新部署。

后言：

  1. 如果需要实现一个主多个从，可以采用类似的占位符方式，固定一部分，读取statefulSet实例的数字段+1方式，实现一主多从。但是brokerName需要固定。其他变种参考类似实现方式。
  2. 本部署方式尚未经过大规模项目测试，实际使用需要结合自己的情况，本文仅做交流记录、分享。
君宝逍遥
关注
  • 10
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K8S部署RocketMQ主从
索性流年的博客
08-01 533
k8s部署RocketMQ主从
k8s部署RocketMQ主从
08-02
个人使用的资源包,包含dockerfile文件,以及各个组件所使用的yaml
kubesphere部署rocketmq5.x，并对外暴露端口
johnhuster的专栏
08-22 1567
kubesphere部署rocketmq5.x，并对外暴露端口
使用 KubeSphere 部署高可用 RocketMQ 集群
KubeSphere
11-29 1944
作者：老Z，云原生爱好者，目前专注于云原生运维，KubeSphere Ambassador。 Spring Cloud Alibaba 全家桶之 RocketMQ 是一款典型的分布式架构下的消息中间件产品，使用异步通信方式和发布订阅的消息传输模型。 很多基于 Spring Cloud 开发的项目都喜欢采用 RocketMQ 作为消息中间件。 RocketMQ 常用的部署模式如下： 单 Master 模式 多 Master 无 Slave 模式 多 Master 多 Slave 模式-异步复制 多 M
K8S 部署 RocketMQ
weixin_42555971的博客
08-04 2429
集群使用 kubesphere 作为工具。
k8s 部署rocketmq集群
weixin_44770684的博客
10-25 7986
kubernetes k8s mq rocketmq rocketmq-dashboard 灵活调整 部署在 k8s 集群中的 rocketmq 集群副本数
k8s 安装 rocketmq 集群
山巅
11-09 607
代码地址：https://github.com/apache/rocketmq-operator.git。
docker k8s 部署 rocketmq
蓬蒿雪人⛄️的博客
03-25 1812
docker 和 k8s 模式下 部署 rocketmq
rocketmq k8s yaml部署文件
02-01
RocketMQ在Kubernetes（k8s）环境中的部署是一个关键任务，因为它涉及到分布式消息中间件与容器编排系统的集成。让我们深入探讨RocketMQ在Kubernetes上的 YAML 部署文件的相关知识点。 首先，RocketMQ是阿里巴巴...
k8s-rocketmq,jenkins,kuboard
06-18
主要是博客中部署微服务的k8syaml文件以及一些镜像原文件
rocketmq部署
06-15
rocketmq部署文档，适用于小白。。
k8s-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql:Kubernetes（k8s）-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql
05-26
k8s-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql Kubernetes(k8s)-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql 统一使用默认端口 kubernetes 默认宿主机映射端口 30000-32767，有些小伙伴，没有修改 kubernetes 的默认端口， 或者修改起来 比较麻烦，所以这里改为 把对外端口统一修改。 对外端口如下： mariadb: 30306 elasticsearch: 30920 30930 kibana: 30601 logstash: 30621 grafana: 30300 jenkins: 30800 xxl-job: 30820 nacos: 30848 prometheus: 30909 redis: 30
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法
09-10
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法,已包含配置文件,部署说明书,步骤截图,亲测可用.
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
K8s 部署 MongoDB（副本集）
02-03
副本集可提供冗余和高可用性，是所有生产部署的基础。也可以说，副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当...
K8S部署+私有仓库部署
最新发布
04-29
K8S部署+私有仓库
K8S部署rocketmq单机和集群
JAVA技术爱好者
01-21 9724
k8s部署rocketmq 单机和集群
k8s安装rocketmq记录
chengqwertyuiop的博客
07-28 2601
测试环境是k8s集群，在上边部署一套单节点的rocketmq
k8s部署rocketmq
08-10
您好！要在Kubernetes上部署RocketMQ，您可以按照以下步骤进行操作： 1. 创建RocketMQ的命名空间： ``` kubectl create namespace rocketmq ``` 2. 部署RocketMQ的Namesrv组件： 创建`namesrv.yaml`文件，并将以下配置添加到文件中： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: rocketmq-namesrv namespace: rocketmq spec: replicas: 1 selector: matchLabels: app: rocketmq-namesrv template: metadata: labels: app: rocketmq-namesrv spec: containers: - name: rocketmq-namesrv image: rocketmqinc/rocketmq:4.8.0 command: ["sh", "-c", "cd /opt/rocketmq/distribution && sh bin/mqnamesrv"] ports: - containerPort: 9876 ``` 使用以下命令创建Namesrv组件的Deployment： ``` kubectl apply -f namesrv.yaml ``` 3. 部署RocketMQ的Broker组件： 创建`broker.yaml`文件，并将以下配置添加到文件中： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: rocketmq-broker namespace: rocketmq spec: replicas: 2 selector: matchLabels: app: rocketmq-broker template: metadata: labels: app: rocketmq-broker spec: containers: - name: rocketmq-broker image: rocketmqinc/rocketmq:4.8.0 command: ["sh", "-c", "cd /opt/rocketmq/distribution && sh bin/mqbroker -n namesrv:9876"] ports: - containerPort: 10911 - containerPort: 10909 ``` 使用以下命令创建Broker组件的Deployment： ``` kubectl apply -f broker.yaml ``` 4. 验证RocketMQ部署是否成功： 使用以下命令检查Pod的状态： ``` kubectl get pods -n rocketmq ``` 如果所有的Pod都处于"Running"状态，则RocketMQ部署成功。 请注意，上述步骤仅提供了基本的部署配置。根据您的具体需求，您可能需要进一步配置RocketMQ的参数和持久化存储等。另外，为了确保数据的可靠性和高可用性，建议您配置RocketMQ的数据备份和故障恢复机制。 希望以上信息能对您有所帮助！如果您有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值