RocketMq的启动分析

最新推荐文章于 2023-12-18 09:50:57 发布
最新推荐文章于 2023-12-18 09:50:57 发布
阅读量129 收藏
点赞数
原文链接：https://my.oschina.net/u/3640447/blog/1522919
版权

在启动RocketMq的时候，name server的启动方式是 sh mqnamesrv，那么首先看看mqnamesrv :

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

if [ -z "$ROCKETMQ_HOME" ] ; then
  ## resolve links - $0 may be a link to maven's home
  PRG="$0"

  # need this for relative symlinks
  while [ -h "$PRG" ] ; do
    ls=`ls -ld "$PRG"`
    link=`expr "$ls" : '.*-> \(.*\)$'`
    if expr "$link" : '/.*' > /dev/null; then
      PRG="$link"
    else
      PRG="`dirname "$PRG"`/$link"
    fi
  done

  saveddir=`pwd`

  ROCKETMQ_HOME=`dirname "$PRG"`/..

  # make it fully qualified
  ROCKETMQ_HOME=`cd "$ROCKETMQ_HOME" && pwd`

  cd "$saveddir"
fi

export ROCKETMQ_HOME

#这里调用了runserver.sh, 并且可以看到rocketmq中的启动入口在org.apache.rocketmq.namesrv.NamesrvStartup这个类中
sh ${ROCKETMQ_HOME}/bin/runserver.sh org.apache.rocketmq.namesrv.NamesrvStartup $@

那么接下来再去看看runserver.sh都做了哪些事情：

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:PermSize=128m -XX:MaxPermSize=320m"
JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:+DisableExplicitGC -XX:-UseParNewGC"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/dev/shm/rmq_srv_gc.log -XX:+PrintGCDetails"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT}  -XX:-UseLargePages"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@

runserver主要针对name server启动时的JVM参数做了一些初始化配置，由于name server在rocketmq中只是负责协调调度的作用，对于内存、GC等并没有很高的要求，主要是可用性。

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

if [ -z "$ROCKETMQ_HOME" ] ; then
  ## resolve links - $0 may be a link to maven's home
  PRG="$0"

  # need this for relative symlinks
  while [ -h "$PRG" ] ; do
    ls=`ls -ld "$PRG"`
    link=`expr "$ls" : '.*-> \(.*\)$'`
    if expr "$link" : '/.*' > /dev/null; then
      PRG="$link"
    else
      PRG="`dirname "$PRG"`/$link"
    fi
  done

  saveddir=`pwd`

  ROCKETMQ_HOME=`dirname "$PRG"`/..

  # make it fully qualified
  ROCKETMQ_HOME=`cd "$ROCKETMQ_HOME" && pwd`

  cd "$saveddir"
fi

export ROCKETMQ_HOME

# 同样的，这里调用了runbroker.sh，并且也找到了broker的启动入口：org.apache.rocketmq.broker.BrokerStartup
sh ${ROCKETMQ_HOME}/bin/runbroker.sh org.apache.rocketmq.broker.BrokerStartup $@

再去瞅一眼runbroker.sh：

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:SurvivorRatio=8 -XX:+DisableExplicitGC"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/dev/shm/mq_gc_%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy"
JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:+AlwaysPreTouch"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=15g"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages -XX:-UseBiasedLocking"
JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

numactl --interleave=all pwd > /dev/null 2>&1
if [ $? -eq 0 ]
then
	if [ -z "$RMQ_NUMA_NODE" ] ; then
		numactl --interleave=all $JAVA ${JAVA_OPT} $@
	else
		numactl --cpunodebind=$RMQ_NUMA_NODE --membind=$RMQ_NUMA_NODE $JAVA ${JAVA_OPT} $@
	fi
else
	$JAVA ${JAVA_OPT} $@
fi

不难发现，broker的启动内存默认是8g，堆外内存设置了15g触发Full GC，这里需要根据业务体量和服务器的配置去自行优化。另外，需要注意的是，broker中如果保存的消息文件时长比较大，磁盘要保证有足够的空间。总之，broker的服务器配置要比nameserver高很多。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3640447/blog/1522919

chuxichuo8490
关注
rocketmq那些事儿之入门基础
Orange's Life
12-13 329
分布式消息队列中间件作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性，其复杂性可见一斑，作为核心组件，有必要去深入了解学习 前言 分布式消息队列中间件主要具有以下优势： 削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题） 系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死） 提升性能（当存在一对多调用时，可以发一条消息给消息系统，让...
rocketmq源码分析
BraveHeart
04-23 3257
文章目录前言一、NameServer路由中心二、消息存储1.消息发送存储流程2.存储文件三、消息消费1、消息者启动流程2、消息拉取1、PullMessageService实现机制2、ProcessQueue实现机制3、消息拉取基本流程3.1客户端封装消息拉取请求3.2消息服务端Broker组装信息3.3消息拉取客户端处理消息3.4消息拉取长轮询机制分析3.5PullRequestHoldService3.6DefaultMessageStore$ReputMessageService详解总结 前言 疫情期
45. 源代码阅读-RocketMQ-tools
weixin_34080903的博客
11-09 675
一. 简要介绍 RocketMQ-tools分为3部分 admin command monitor 下面一一介绍 二. admin 提供了管理操作接口 三. command command提供了命令行控制MQ的一些方法。 启动方法 进入RocketMQ安装目录，执行sh bin/mqadmin 有几个参数的执行方法 1. sh bin/mqadmin...
分布式消息队列RocketMQ部署与监控
热门推荐
只有不断地学习，不断地进步，才能感受到生活的快乐，意义。。。。
08-12 1万+
一、RocketMQ简介 ========================================================================================== RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点： 1、支持严格的消息顺序； 2、支持Topic与Queue两种模式； 3、亿级消息堆积能力；
RocketMQ 安装配置及集群主从配置
herforyou的博客
05-16 1万+
cketMQ安装配置及集群主从配置1.       需要软件：Maven，Java,RocketMQ当前最新版本是4.2.0，必须的java1.8来支持2 .  Java 安装解压完成后配置环境变量，#Java环境变量配置export JAVA_HOME=/usr/local/java/jdk1.8.0_171export JRE_HOME=/usr/local/java/jdk1.8.0_171...
Gradle安装遇到的坑
起舞的日子
08-01 7225
话说： 各位读者盆友，晚上好！寡人小美哈。这里分享下今天遇到的一个小坑，也是花了点时间才想到解决方案。 目录 一、问题背景 二、解决方案 三、总结 环境：Mac Book Air 难度系数：★☆☆ ☆☆ 建议用时：30min 一、问题背景 Mac下面安装Gradle，还不简单得跟玩似的？是的，确实很简单。下载个gradle.3.5的包，配置.bash_profile的...
RocketMQ 启动命令分析
一剪梅的博客
09-26 469
autoCreateTopicEnable=true
关于RocketMQ 启动闪退问题
qq_36792703的博客
09-01 2575
RocketMQ 启动闪退解决方案
Rocketmq源码分析
总结复盘，才能不迷失自己！
03-25 536
Rocketmq源码下载网址
RocketMQ系统性学习-RocketMQ原理分析之源码启动、Broker启动流程分析
qq_45260619的博客
12-18 1049
先创建 BrokerController 控制器，BrokerController 控制器对象包含了各种 Config 配置对象以及 Manager 管理对象。创建完 BrokerController 控制器之后，还会判断是否创建成功，以及注册钩子。：创建完 BrokerController 后，启动 BrokerController。注册 JVM 进程关闭的钩子，在进程关闭时，回收一些资源。Broker 启动的入口为 broker 模块的。判断是否创建成功，如果创建失败，就尝试关闭。
RocketMQ原理分析.rar
05-11
本压缩包“RocketMQ原理分析.rar”包含了对RocketMQ核心机制的深入解析，旨在帮助用户理解其工作原理。 RocketMQ的核心组件包括Producer、Consumer、NameServer和Broker四个部分： 1. **Producer**: 生产者是消息...
RocketMQ详解（三）启动运行原理
博客园搬家测试账号
07-28 198
专题目录 RocketMQ详解(一)原理概览 RocketMQ详解(二)安装使用详解 RocketMQ详解(三)启动运行原理 RocketMQ详解(四)核心设计原理 RocketMQ详解(五)总结提高 引子 明白一个项目启动时做了什么，更有利于理解整体运行原理。本节我们从rocketmq启动流程，来探究运行原理。总体流程如下： 如上图所示，rocketMQ启动顺序：nameserver-&gt...
RocketMQ5.0 NameServer启动流程
Java技术攻略的博客
03-16 548
启动参数解析：NameServer 启动时需要指定一些参数，例如监听端口、RocketMQ 集群的名称等等。NameServer 会先解析这些参数，并根据这些参数进行初始化。加载配置文件：NameServer 还会加载配置文件，包括 broker 配置、路由配置、Topic 配置等等，这些配置文件可以指定在启动参数中，也可以在启动后进行修改。创建 MBeanServer：NameServer 还会创建一个 MBeanServer，用于对 NameServer 进行监控和管理。
考研复习-英语二真题考试题集-带答案
09-14
英语二考研真题复习资料，带答案版
2024中美独角兽公司发展分析报告.pdf
09-14
全球各大洲独角兽企业分布、中美独角兽企业对比（数量、估值、新增及退榜情况、行业分布、所在城市）、
C++ 中的异步编程模型是什么
09-14
在C++中，异步编程模型是处理并发任务、提高程序性能和响应性的关键技术。以下是C++中实现异步编程的几种主要方式： 每种异步编程模型都有其适用场景和优缺点。选择合适的模型可以提高代码的可读性、可维护性和性能。随着C++标准的不断发展，异步编程模型也在不断进化，为开发者提供了更多的工具和选择。 在实际开发中，应根据具体需求选择合适的异步编程模型。例如，对于简单的异步任务，回调函数可能是最直接的选择；而对于需要结构化错误处理和结果获取的复杂异步任务，std::async和std::future可能更合适；在需要高效资源管理的场景下，线程池是一个不错的选择；而对于需要编写大量异步代码的现代应用程序，协程提供了一种更简洁、更直观的解决方案。 总之，C++中的异步编程模型是多核和高并发环境下提高程序性能的重要工具。通过合理使用这些模型，开发者可以构建出更高效、更可靠的软件系统。
正则表达式Regex是一种文本模式.docx
09-14
正则表达式（Regular Expression，简称Regex或Regexp）是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。正则表达式是强大的文本处理工具，广泛用于搜索、编辑或操作文本和数据。 基本组成 普通字符：大多数字符，包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号，都是普通字符。正则表达式中的普通字符表示它们自身。例如，正则表达式test会匹配字符串"test"。 特殊字符（元字符）：一些字符在正则表达式中具有特殊的意义，如^、$、.、*、+、?、{、}、[、]、|、\等。这些特殊字符用于表示在搜索文本时要匹配的一个或多个字符。例如，.匹配除换行符之外的任何单个字符。 字符类：字符类允许你指定一组字符中的任何一个字符。例如，[abc]匹配"a"、"b"或"c"中的任意一个字符。你也可以使用范围，如[a-z]匹配任何小写字母。 预定义字符类：正则表达式提供了一些预定义字符类，用于匹配常见的字符集合。例如，\d匹配任何数字（等价于[0-9]），\s匹配任
基于struts+sqlserver网络购物系统毕业课程源码设计+论文资料
09-14
编号：150 系统功能： 展示网站最新的商品信息。 展示网站特价的商品信息。 为用户提供修改个人资料和查看在网站操作情况的平台。 提供用户在网站上购物的平台。 展示网站发布的公告信息。 展示商品的销量排行。 展示网站的友情链接信息。 对商品详细信息以及分类信息进行管理。 对用户基本资料、交易制度、消费情况及留言信息进行管理。 对用户提交的订单进行管理。 对管理员信息、网站公告信息、商业资讯信息及友情链接信息进行管理。 系统运行稳定，具有强大的数据处理能力。 操作注意事项 （1）本系统的用户名为：admin，密码为：admin （2）admin管理员的信息不能删除。 （3）用户注册登录后，可进行商品购买、商品信息查看以及订单查询操作。 （4）后台登陆地址：http://localhost:8080/WebShopping/bg-land.jsp。
基于ssm的高校毕业生就业管理系统设计与实现.docx
最新发布
09-14
基于ssm的高校毕业生就业管理系统设计与实现.docx
rocketmq启动报错
09-03
在启动RocketMQ时，可能会遇到各种错误。根据引用中提到的信息，如果你已经修改了classpath并进入了bin目录，但仍然遇到启动报错，可以参考以下步骤来解决问题： 1. 首先，你可以检查一下启动命令是否正确。确保你在bin目录下执行了正确的启动命令。如果命令不正确，可能会导致启动失败。 2. 如果启动命令正确，但仍然遇到报错，你可以检查一下日志文件，看看是否有相关的错误信息。在RocketMQ的bin目录下，你可以找到logs文件夹，里面包含了启动过程中生成的日志文件。你可以打开日志文件，查看具体的错误信息，以便更好地定位问题。 3. 如果日志文件中的错误信息不明确，你可以尝试重新安装RocketMQ。确保你按照官方文档提供的步骤进行安装，并仔细检查每一步是否正确执行。有时候，在安装过程中可能会出现一些配置错误或者依赖缺失等问题，导致启动失败。 4. 如果重新安装仍然无法解决问题，你可以尝试查找一些常见的启动报错解决方案。RocketMQ官方文档中有一个常见问题的章节，你可以在其中找到一些常见问题的解决方案。另外，你还可以在RocketMQ的官方论坛或者社区中搜索相关问题，看看有没有其他用户遇到过类似的问题，并且找到了解决方法。 总结一下，当RocketMQ启动报错时，你可以通过检查启动命令、查看日志文件、重新安装RocketMQ以及查找常见问题的解决方案来解决问题。 希望这些信息对你有帮助！如果还有其他问题，请随时提问。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [rocketmq-all-4.4.0-bin-release](https://download.csdn.net/download/woyouzuogongle/11064857)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [安装rocketmq后启动项目遇到的异常分析和处理方案](https://blog.csdn.net/Taiyii/article/details/125524540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值