kafka（十七）：Kafka监控软件KafkaOffsetMonitor和kafka-manager操作实例

一、实现功能

本文描述两种监控kafka执行软件KafkaOffsetMonitor和kafka-manager的实现，参考很多大佬的实现方案，和本地有些出入，所以，特地重新重写了一次。参考解决方案，在文末给出。

二、本地环境

1.Centos6

2.Kafka0.8.2.1

3.Kafka准备工作

（1）kafka启动

启动zk和kafka

bin/zkServer.sh start
bin/kafka-server-start.sh config/server.properties

（2）创建对应topic

kafka-topics.sh --create --zookeeper hadoop01:2181/kafka08 --replication-factor 1 --partitions 1 --topic hello_topic
查看
[root@hadoop01 kafka_2.11-0.8.2.1]# bin/kafka-topics.sh --list --zookeeper hadoop01:2181/kafka08
__consumer_offsets
hello_topic
subscribe_topic1

（3）消费者和生产者

生产者
bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic hello_topic
消费者
bin/kafka-console-consumer.sh --zookeeper hadoop01:2181/kafka08 --topic hello_topic --from-beginning

三、KafkaOffsetMonitor

【本文提供本地执行一个实例，具体执行原理，大佬博客里面讲解很清楚，建议直接看大佬西门大官人：https://www.cnblogs.com/dadonggg/p/8242682.html】

1.下载

因为github上的release版本有问题，所以建议下载KafkaOffsetMonitor-assembly-0.2.0.jar版本：
下载百度网盘：链接：https://pan.baidu.com/s/1geEBEvT 密码：jaeu

2.本地直接执行

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m  -cp KafkaOffsetMonitor-assembly-0.2.0.jar  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--port 8123 \
--zk 192.168.130.3:2181/kafka08 \
--refresh 5.minutes \
--retain 1.day >/dev/null 2>&1

3.访问页面http://hadoop01:8123

 
（1）查看topic list
 
（2）查看集群

四、kafka-manager

【和KafkaOffsetMonitor一样，本节只是提供一个实现实例，具体详解，可以学习大佬西门大官人的：https://www.cnblogs.com/dadonggg/p/8205302.html】

1.下载

因为觉得麻烦，所以直接下载大佬编译好的，链接：https://pan.baidu.com/s/1qYifoa4 密码：el4o

2.解压缩

unzip kafka-manager-1.3.3.7.zip -d /opt/softwares/kafka-monitoring
cd /opt/softwares/kafka-monitoring/kafka-manager-1.3.3.7

3.修改配置文件

cd conf
vi application.conf
修改参数
#kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts="hadoop01:2181/kafka08"

4.启动

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9002 &
其中：
-Dhttp.port：指定端口号，默认9000
-Dconfig.file：指定配置文件

5.查看http://hadoop01:9002/

默认是没有集群的，需要重新创建
 
6.创建集群
 
填写集群信息，关键是一下两个点：kafka的topic在zookeeper中位置，以及kafka版本。JMX复选框，如果在kafka中没有配置则不要勾选；其他默认即可。
 
结果：
 

五、kafka-eagle

参考博客：非常详细

Kafka监控系统Kafka Eagle剖析

https://www.cnblogs.com/smartloli/p/9371904.html

六、参考

1. https://www.cnblogs.com/dadonggg/p/8242682.html
2. https://www.cnblogs.com/dadonggg/p/8205302.html