RocketMQ-mqtt 搭建以及踩坑

凌晨4点的洛杉矶

已于 2024-06-28 15:31:01 修改

阅读量1k

点赞数 9

文章标签： rocketmq

于 2024-06-28 15:28:32 首次发布

本文链接：https://blog.csdn.net/weixin_43114058/article/details/140043257

版权

来自业务的需求，需要快速搭建一套支持 MQTT 协议的消息系统。

前期准备：
官方地址：https://github.com/apache/rocketmq-mqtt
RocketMQ从4.9.3 版本开始才支持该功能，所以需要先检查 RocketMQ 的版本是否满足。
RocketMQ 部署参考：https://rocketmq.apache.org/zh/docs/4.x/deployment/01deploy

操作系统和jdk环境：

64-bit operating system, Linux/Unix/macOS recommended
64-bit JDK 1.8+

需要在rocketMQ的配置文件中broker.conf中添加下面的命令以开启mqtt支持

enableLmq = true 
enableMultiDispatch = true

下面是跟着官网教程走的流程：

git clone https://github.com/apache/rocketmq-mqtt
cd rocketmq-mqtt 
mvn -Prelease-all -DskipTests clean install -U 
cd distribution/target/

maven编译完成之后找到rocketmq-mqtt\distribution\target\rocketmq-mqtt-1.0.2-SNAPSHOT\rocketmq-mqtt-1.0.2-SNAPSHOT\conf\下的service.conf文件编辑里面的配置

username=test    // Authorization verification account configuration
secretKey=test    // Authorization verification account configuration
NAMESRV_ADDR=xxx  //namesrv access point
eventNotifyRetryTopic=eventNotifyRetryTopic   //notify retry topic, created in advance
clientRetryTopic=clientRetryTopic  //Client message retry topic, created in advance
testTopic=testTopic //Client message retry topic, created in advance

metaAddr=192.168.157.129:25000

然后编辑相同目录下面的meta.conf，这个配置文件内容如下

selfAddress=192.168.157.129:25000
membersAddress=192.168.157.129:25000

然后需要提前配置好一级topic如下：

sh mqadmin updateTopic -n 10.22.34.179:9876 -c DefaultCluster -t eventNotifyRetryTopic
sh mqadmin updateTopic -n 10.22.34.179:9876 -c DefaultCluster -t clientRetryTopic
sh mqadmin updateTopic -n 10.22.34.179:9876 -c DefaultCluster -t testTopic

还要配置一级topic的通配符如下:

sh mqadmin updateKvConfig -s LMQ -k eventNotifyRetryTopic -v testTopic/# -n 192.168.157.129:9876
sh mqadmin updateKvConfig -s LMQ -k clientRetryTopic -v testTopic/# -n 192.168.157.129:9876
sh mqadmin updateKvConfig -s LMQ -k testTopic -v testTopic/# -n 192.168.157.129:9876

启动 RocketMQ MQTT：

sh meta.sh start
sh mqtt.sh start

以上这些步骤可以在官网文档找到，下面贴上官网文档，免得迷路：

rocketMQ-mqtt官方文档:rocketmq-mqtt/README.md at main · apache/rocketmq-mqtt · GitHub

下面说些文档里面找不到的内容

说下自己的踩坑经历，建议使用版本为JDK1.8版本，还有就是rocketMq-mqtt属实bug有点多，一言难尽，比如我最开始尝试的Java11版本的环境会出现找不到主类，或者其他你意想不到的bug

下面给出java 11版本 mqtt 中mqtt.sh报错的bug：只需要改下配置文件即可，文件位置位于\rocketmq-mqtt\distribution\target\rocketmq-mqtt-1.0.2-SNAPSHOT\rocketmq-mqtt-1.0.2-SNAPSHOT\bin，runserver.sh配置文件,文件内容如下：

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

find_java_home()
{
    case "`uname`" in
        Darwin)
          if [ -n "$JAVA_HOME" ]; then
              JAVA_HOME=$JAVA_HOME
              return
          fi
            JAVA_HOME=$(/usr/libexec/java_home)
        ;;
        *)
            JAVA_HOME=$(dirname $(dirname $(readlink -f $(which javac))))
        ;;
    esac
}

find_java_home

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${BASE_DIR}/lib/*:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
# The RAMDisk initializing size in MB on Darwin OS for gc-log
DIR_SIZE_IN_MB=600

choose_gc_log_directory()
{
    case "`uname`" in
        Darwin)
            if [ ! -d "/Volumes/RAMDisk" ]; then
                # create ram disk on Darwin systems as gc-log directory
                DEV=`hdiutil attach -nomount ram://$((2 * 1024 * DIR_SIZE_IN_MB))` > /dev/null
                diskutil eraseVolume HFS+ RAMDisk ${DEV} > /dev/null
                echo "Create RAMDisk /Volumes/RAMDisk for gc logging on Darwin OS."
            fi
            GC_LOG_DIR="/Volumes/RAMDisk"
        ;;
        *)
            # check if /dev/shm exists on other systems
            if [ -d "/dev/shm" ]; then
                GC_LOG_DIR="/dev/shm"
            else
                GC_LOG_DIR=${BASE_DIR}
            fi
        ;;
    esac
}

choose_gc_options()
{
    # Example of JAVA_MAJOR_VERSION value : '1', '9', '10', '11', ...
    # '1' means releases befor Java 9
    JAVA_MAJOR_VERSION=$("$JAVA" -version 2>&1 | sed -r -n 's/.* version "([0-9]*).*$/\1/p')
    if [ -z "$JAVA_MAJOR_VERSION" ] || [ "$JAVA_MAJOR_VERSION" -lt "9" ] ; then
      JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:-UseParNewGC"
      JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
      JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
    else
      JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
      JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
      JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
    fi
}

choose_gc_log_directory
choose_gc_options
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"
"$JAVA" ${JAVA_OPT} $@

另外，可能还有很多同学跟我一样，会出现好不容易启动起来了，但是连不上的问题(出现账号密码错误或者mqtt.log日志中出现认证失败等)，这个问题在官方文档里面是没有提及的，只有你去他给的示例里面去找才找得到答案，具体是因为rocketMQ-mqtt是需要客户端id和密钥联合加密之后的字符串作为密钥才能连接具体代码如下:

  String clientId = "mqttx_dd5afa5b";
  String password = HmacSHA1Util.macSignature(clientId, "test");

直接用之前service.conf中配置的密码是无法连上的，因为需要用到阿里自带的工具来做加签，加签完成后的密码拿去做连接就可以正常连接MQTT了。

RocketMQ-MQTT目前的bug还是比较多，开源版本来说，自己研究还行，要做为生产工具个人觉得还是慎重考虑。

衷心希望阿里的开源团队能把文档写的完备一点，测试做充足一点，毕竟为数不多的国产中间件我们还是希望尽量能国产化，尽量国产化。

凌晨4点的洛杉矶

关注

9
点赞
踩
29

收藏

觉得还不错? 一键收藏
0
评论
RocketMQ-mqtt 搭建以及踩坑

来自业务的需求，需要快速搭建一套支持 MQTT 协议的消息系统。前期准备：官方地址：https://github.com/apache/rocketmq-mqttRocketMQ从4.9.3 版本开始才支持该功能，所以需要先检查 RocketMQ 的版本是否满足。RocketMQ 部署参考：https://rocketmq.apache.org/zh/docs/4.x/deployment/01deploy。
复制链接

扫一扫