rocketmq-exporter 安装配置

最新推荐文章于 2024-08-12 14:38:43 发布

饭桶也得吃饭

最新推荐文章于 2024-08-12 14:38:43 发布

阅读量31

点赞数

文章标签： rocketmq

本文链接：https://blog.csdn.net/qianghong000/article/details/140166348

版权

介绍

RocketMQ-Exporter 项目的 GitHub 地址： https://github.com/apache/rocketmq-exporter

RocketMQ 介绍

RocketMQ 是一个分布式消息和流数据平台，具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。简单的来说，它由 Broker 服务器和客户端两部分组成，其中客户端一个是消息发布者客户端(Producer)，它负责向 Broker 服务器发送消息；另外一个是消息的消费者客户端(Consumer)，多个消费者可以组成一个消费组，来订阅和拉取消费 Broker 服务器上存储的消息。正由于它具有高性能、高可靠性和高实时性的特点，与其他协议组件在 MQTT 等各种消息场景中的结合也越来越多，应用越来越广泛。而对于这样一个强大的消息中间件平台，在实际使用的时候还缺少一个监控管理平台。当前在开源界，使用最广泛监控解决方案的就是 Prometheus。与其它传统监控系统相比较，Prometheus 具有易于管理，监控服务的内部运行状态，强大的数据模型，强大的查询语言 PromQL，高效的数据处理，可扩展，易于集成，可视化，开放性等优点。并且借助于 Prometheus 可以很快速的构建出一个能够监控 RocketMQ 的监控平台。

RocketMQ-Exporter 的具体实现

当前在 Exporter 当中，实现原理如下图所示：整个系统基于 spring boot 框架来实现。由于 MQ 内部本身提供了比较全面的数据统计信息，所以对于 Exporter 而言，只需要将 MQ 集群提供的统计信息取出然后进行加工而已。所以 RocketMQ-Exporter 的基本逻辑是内部启动多个定时任务周期性的从 MQ 集群拉取数据，然后将数据规范化后通过端点暴露给 Prometheus 即可。其中主要包含如下主要的三个功能部分：

MQAdminExt 模块通过封装 MQ 系统客户端提供的接口来获取 MQ 集群内部的统计信息。
MetricService 负责将 MQ 集群返回的结果数据进行加工，使其符合 Prometheus 要求的格式化数据。 Collect 模块负责存储规范化后的数据，最后当 Prometheus 定时从 Exporter 拉取数据的时候 Exporter 就将 Collector 收集的数据通过 HTTP 的形式在/metrics 端点进行暴露。

RocketMQ-Exporter 的监控指标和告警指标

RocketMQ-Exporter 主要是配合 Prometheus 来做监控，下面来看看当前在 Expoter 中定义了哪些监控指标和告警指标。

监控指标

rocketmq_message_accumulation 是一个聚合指标，需要根据其它上报指标聚合生成。

###告警指标消费者堆积告警指标也是一个聚合指标，它根据消费堆积的聚合指标生成，value 这个阈值对每个消费者是不固定的，当前是根据过去 5 分钟生产者生产的消息数量来定，用户也可以根据实际情况自行设定该阈值。告警指标设置的值只是个阈值只是象征性的值，用户可根据在实际使用 RocketMQ 的情况下自行设定。这里重点介绍一下消费者堆积告警指标，在以往的监控系统中，由于没有像 Prometheus 那样有强大的 PromQL 语言，在处理消费者告警问题时势必需要为每个消费者设置告警，那这样就需要 RocketMQ 系统的维护人员为每个消费者添加，要么在系统后台检测到有新的消费者创建时自动添加。在 Prometheus 中，这可以通过一条如下的语句来实现：

(sum(rocketmq_producer_offset) by (topic) - on(topic)  group_right  sum(rocketmq_consumer_offset) by (group,topic)) 
- ignoring(group) group_left sum (avg_over_time(rocketmq_producer_tps[5m])) by (topic)*5*60 > 0

借助 PromQL 这一条语句不仅可以实现为任意一个消费者创建消费告警堆积告警，而且还可以使消费堆积的阈值取一个跟生产者发送速度相关的阈值。这样大大增加了消费堆积告警的准确性。

安装RocketMQ Exporter

官方未直接提供镜像，需要我们下载源码然后mvn package -Dmaven.test.skip=true docker:build 生成镜像

编译 RocketMQ-Exporter

用户当前使用，需要自行下载 git 源码编译：

#clone 
git clone https://github.com/apache/rocketmq-exporter.git
cd rocketmq-exporter

#Build Binary
mvn clean install -DskipTests=true -Dcheckstyle.skip=true

#Build Docker Image
mvn package -Dmaven.test.skip=true docker:build

编译docker镜像时出现以下报错：

[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  10.404 s
[INFO] Finished at: 2024-07-03T17:11:14+08:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal com.spotify:docker-maven-plugin:0.4.11:build (default-cli) on project rocketmq-exporter: Exception caught: manifest for java:8 not found: manifest unknown: manifest unknown -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

原因官方的 Java 镜像已经被重命名为 openjdk，尝试将 java:8 更改为 openjdk:8。解决方法

cd rocketmq-exporter
sed -i 's/java:8/openjdk:8/g' src/main/docker/Dockerfile

出现以下报错： [ERROR] Failed to execute goal com.spotify:docker-maven-plugin:0.4.11:build (default-cli) on project rocketmq-exporter: Exception caught: ADD failed: file not found in build context or excluded by .dockerignore: stat rocketmq-exporter-0.0.2-SNAPSHOT-exec.jar: file does not exist -> [Help 1]

解决方法

# Dockerfile 修改正确的生成包版本
sed -i 's/0.0.2-SNAPSHOT-exec/0.0.3-SNAPSHOT-exec/g' src/main/docker/Dockerfile

查看生成的docker镜像

# docker images -a |grep 'rocketmq-exporter'
rocketmq-exporter                                                             0.0.3-SNAPSHOT                              f51b77bb1132   54 seconds ago   580MB
rocketmq-exporter                                                             latest                                      f51b77bb1132   54 seconds ago   580MB

配置和运行

RocketMQ-Exporter 有如下的运行选项。有关配置示例，请参阅 application.properties。：

name	Default	Description
rocketmq.config.namesrvAddr	127.0.0.1:9876	MQ集群的nameSrv地址
rocketmq.config.webTelemetryPath	/metrics	指标的搜集路径
server.port	5557	要侦听 Web 界面和探测的地址
rocketmq.config.rocketmqVersion	V4_3_2	rocketmq broker version

以上的运行选项既可以在下载代码后在配置文件中更改，也可以通过命令行来设置。

运行二进制文件

编译出来的 jar 包就叫 rocketmq-exporter-0.0.1-SNAPSHOT.jar，可以通过如下的方式来运行。

java -jar target/rocketmq-exporter-0.0.2-SNAPSHOT-exec.jar [--rocketmq.config.namesrvAddr="127.0.0.1:9876" ...]

运行 Docker 镜像

笔者已经制作好并上传至docker hub，嫌构建麻烦的同学可直接使用。 docker pull sawyerlan/rocketmq-exporter:latest # https://hub.docker.com/repository/docker/sawyerlan/rocketmq-exporter

docker run --name rocketmq-exporter --restart=always  -p 5557:5557 -d  sawyerlan/rocketmq-exporter  --rocketmq.config.namesrvAddr="172.30.0.150:9876;172.30.0.151:9876"

将上面的地址修改为你RocketMQ nameserver 的地址，笔者的nameserver有2个。接下来访问 http://{{你的ip}}:5557/metrics 就可以获取到监控指标

编写 docker-compose

version: "3"

services:
  rocketmq-exporter-service:
    container_name: rocketmq-exporter
    image: swr.cn-north-4.myhuaweicloud.com/beeselect-ops-tools/rocketmq-exporter:0.0.3-SNAPSHOT
    restart: always
    ports:
      - "5557:5557"
    command: ["--rocketmq.config.namesrvAddr=172.30.0.150:9876;172.30.0.151:9876"]

# 运行容器 rocketmq-exporter
docker-compose -f /opt/rocketmq-exporter/docker-compose-rocketmq-exporter.yaml up -d

配置Prometheus监控RocketMQ

静态方式

- job_name: 'rocketmq-exporter'
    static_configs:
    - targets: ['localhost:5557']
      labels:
        Env: 'develop'
        Cluster: 'local'

reload 你的Prometheus使配置生效

curl -X POST http:/localhost:9090/-/reload

饭桶也得吃饭

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
rocketmq-exporter 安装配置

介绍RocketMQ-Exporter 项目的 GitHub 地址：https://github.com/apache/rocketmq-exporterRocketMQ 介绍RocketMQ 是一个分布式消息和流数据平台，具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。简单的来说，它由 Broker...
复制链接

扫一扫