1.下载kafka
,链接 https://kafka.apache.org/downloads;
2.配置kafka
的JMX PORT
,修改bin/kafka-server-start.sh
,添加一行export JMX_PORT="9999"
,我这里用了9999
端口。
3.下载jmx_exporter
,链接 https://github.com/prometheus/jmx_exporter, 我将文件放在/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar
;
4.创建文件kafka-agent.yaml
, 我放在/opt/kafka/kafka_2.11-1.0.0
, 内容为你需要的kafka metrics
hostPort: 127.0.0.1:9999 # 这里9999为设置的jmx端口
lowercaseOutputName: true
whitelistObjectNames:
- "kafka.controller:type=KafkaController,name=OfflinePartitionsCount"
- "kafka.controller:type=KafkaController,name=ActiveControllerCount"
- ......
5.再次修改bin/kafka-server-start.sh
,
添加 export KAFKA_OPTS="-javaagent:/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar=9990:/opt/kafka
;
/kafka_2.11-1.0.0/kafka-agent.yaml"
注意jmx_prometheus_javaagent-0.9.jar=9990:
, 9990
为jmx_exporter
提供数据的端口,之后我们访问http://xxx.xxx.xxx:9990/metrics
就能获得需要的metrics
数据:
kafka_server_brokertopicmetrics_fiveminuterate{name="TotalFetchRequestsPerSec",} 79706.84209535549
kafka_server_brokertopicmetrics_fiveminuterate{name="TotalProduceRequestsPerSec",} 214.84898012003208
...
6.如果使用了prometheus
来抓取数据,只要增加prometheus
抓取目标源如下, 再结合grafana
来做监控看板。
- job_name: kafka-jmx
static_configs:
- targets:
- xxx.com:9990
- xxx:9990
- xxx:9990