Pulsar详解5—Pulsar的管理和监控

Pulsar 详解 - 索引目录

一、命令行工具

1、pulsar-admin的使用

命令行工具 pulsar-admin 提供了丰富的功能来管理 Pulsar 集群和监控其运行状态。

1.1 安装 pulsar-admin

pulsar-admin 是 Pulsar 的官方命令行工具，可以通过以下方式安装：
1、使用 Pulsar 的二进制包自带的 pulsar-admin
2、或者通过 Pulsar 的源码构建 pulsar-admin

1.2 pulsar-admin 常用命令示例

a. 查看集群信息

pulsar-admin clusters list

这个命令用于列出当前 Pulsar 集群中的所有集群。

b. 查看租户信息

pulsar-admin tenants list

这个命令用于列出当前 Pulsar 集群中的所有租户。

c. 查看命名空间信息

pulsar-admin namespaces list my-tenant

这个命令用于列出指定租户下的所有命名空间。

d. 查看主题信息

pulsar-admin topics list my-tenant/my-namespace

这个命令用于列出指定命名空间下的所有主题。

e. 查看消费者组信息

pulsar-admin persistent-stats my-tenant/my-namespace/my-topic

这个命令用于查看指定主题的持久化订阅的统计信息，包括消费者组的消费情况。

f. 查看集群状态

pulsar-admin broker-stats

这个命令用于查看整个 Pulsar 集群的状态信息，包括各个 broker 的状态、吞吐量等。

二、监控指标

Pulsar 提供了多个关键性能指标，以便管理员能够有效地监控集群的运行状况。

1、关键性能指标

1.1 Broker 相关指标

• 消息入站和出站速率： 表示每秒钟处理的入站和出站消息数量。
• 存储使用率： 显示存储系统使用的百分比，帮助评估存储的健康状况。
• 内存使用率： 表示 JVM 堆内存使用的百分比。
• 网络 I/O 指标： 包括传入和传出的网络数据量，帮助评估网络性能。

1.2 Topic 相关指标

• 每秒发布和订阅消息数： 衡量主题的活跃性和负载。
• 持久订阅者的未确认消息数： 表示消费者未确认的消息数量，帮助评估消费者的处理速度。
• 主题存储使用率： 显示主题的存储使用百分比。

1.3 集群级指标

• 集群吞吐量： 表示集群每秒处理的消息总数。
• 故障域的状态： 包括集群中每个故障域的状态，帮助评估故障域的可用性。

2、指标的收集与展示

Pulsar 提供了 Prometheus 集成，使得收集和展示监控指标变得非常方便。

2.1 启用 Prometheus Exporter

在 Pulsar 集群的 broker 配置中，启用 Prometheus Exporter：

prometheusMetrics: true

2.2 配置 Prometheus

在 Prometheus 的配置文件中，添加 Pulsar 相关的 job 配置：

- job_name: 'pulsar'
  static_configs:
    - targets: ['pulsar-broker:9090']  # Pulsar broker 的地址

2.3 示例

示例演示如何使用 Prometheus 客户端库来收集和展示 Pulsar 监控指标：

package main

import (
	"net/http"
	"github.com/prometheus/client_golang/prometheus/promhttp"
)

func main() {
	// 启动 HTTP 服务器，监听 /metrics 路径
	http.Handle("/metrics", promhttp.Handler())
	http.ListenAndServe(":9090", nil)
}

通过访问 http://localhost:9090/metrics，你可以查看到 Pulsar 相关的监控指标。确保你的 Pulsar broker 配置了 Prometheus Exporter，并在 Prometheus 中配置了相应的 job。

三、集成工具

在 Apache Pulsar 的管理和监控中，集成工具如 Grafana 和 Prometheus 能够提供强大的监控和可视化功能。

1、Prometheus 集成

1.1 启用 Prometheus Exporter

在 Pulsar 集群的 broker 配置文件中启用 Prometheus Exporter：

prometheusMetrics: true

2. 配置 Prometheus

在 Prometheus 的配置文件中添加 Pulsar 相关的 job 配置：

- job_name: 'pulsar'
  static_configs:
    - targets: ['pulsar-broker:9090']  # Pulsar broker 的地址

这样 Prometheus 就能够从 Pulsar broker 收集监控指标。

2、Grafana 集成

2.1 安装 Grafana

首先，安装 Grafana。可以通过官方网站或者包管理工具进行安装。

2.2 添加 Prometheus 数据源

在 Grafana 中添加 Prometheus 数据源，配置 Prometheus 的地址（默认是 http://localhost:9090）。

2.3 创建仪表盘

创建一个新的仪表盘，并添加图表。在图表的查询设置中，选择刚刚添加的 Prometheus 数据源，并使用 Pulsar 相关的 Prometheus 查询语句。

以下是一个示例查询语句，用于显示 Pulsar 集群的消息入站速率：

rate(pulsar_messages_in_total{job="pulsar"}[1m])

你可以根据需求调整查询语句，显示不同的监控指标。

2.4 示例

为了演示 Prometheus 和 Grafana 集成，可以使用以下示例代码创建一个简单的 HTTP 服务器，监听 /metrics 路径，以供 Prometheus 抓取指标：

package main

import (
	"net/http"
	"github.com/prometheus/client_golang/prometheus/promhttp"
)

func main() {
	// 启动 HTTP 服务器，监听 /metrics 路径
	http.Handle("/metrics", promhttp.Handler())
	http.ListenAndServe(":9090", nil)
}

确保你的 Pulsar broker 配置了 Prometheus Exporter，Prometheus 中配置了相应的 job，然后在 Grafana 中创建仪表盘，使用 Pulsar 相关的 Prometheus 查询语句即可。