一、实现功能
本文描述两种监控kafka执行软件KafkaOffsetMonitor和kafka-manager的实现,参考很多大佬的实现方案,和本地有些出入,所以,特地重新重写了一次。参考解决方案,在文末给出。
二、本地环境
1.Centos6
2.Kafka0.8.2.1
3.Kafka准备工作
(1)kafka启动
启动zk和kafka
bin/zkServer.sh start
bin/kafka-server-start.sh config/server.properties
(2)创建对应topic
kafka-topics.sh --create --zookeeper hadoop01:2181/kafka08 --replication-factor 1 --partitions 1 --topic hello_topic
查看
[root@hadoop01 kafka_2.11-0.8.2.1]# bin/kafka-topics.sh --list --zookeeper hadoop01:2181/kafka08
__consumer_offsets
hello_topic
subscribe_topic1
(3)消费者和生产者
生产者
bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic hello_topic
消费者
bin/kafka-console-consumer.sh --zookeeper hadoop01:2181/kafka08 --topic hello_topic --from-beginning
三、KafkaOffsetMonitor
【本文提供本地执行一个实例,具体执行原理,大佬博客里面讲解很清楚,建议直接看大佬西门大官人:https://www.cnblogs.com/dadonggg/p/8242682.html】
1.下载
因为github上的release版本有问题,所以建议下载KafkaOffsetMonitor-assembly-0.2.0.jar版本:
下载百度网盘:链接:https://pan.baidu.com/s/1geEBEvT 密码:jaeu
2.本地直接执行
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--port 8123 \
--zk 192.168.130.3:2181/kafka08 \
--refresh 5.minutes \
--retain 1.day >/dev/null 2>&1
3.访问页面http://hadoop01:8123
(1)查看topic list
(2)查看集群
四、kafka-manager
【和KafkaOffsetMonitor一样,本节只是提供一个实现实例,具体详解,可以学习大佬西门大官人的:https://www.cnblogs.com/dadonggg/p/8205302.html】
1.下载
因为觉得麻烦,所以直接下载大佬编译好的,链接:https://pan.baidu.com/s/1qYifoa4 密码:el4o
2.解压缩
unzip kafka-manager-1.3.3.7.zip -d /opt/softwares/kafka-monitoring
cd /opt/softwares/kafka-monitoring/kafka-manager-1.3.3.7
3.修改配置文件
cd conf
vi application.conf
修改参数
#kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts="hadoop01:2181/kafka08"
4.启动
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9002 &
其中:
-Dhttp.port:指定端口号,默认9000
-Dconfig.file:指定配置文件
5.查看http://hadoop01:9002/
默认是没有集群的,需要重新创建
6.创建集群
填写集群信息,关键是一下两个点:kafka的topic在zookeeper中位置,以及kafka版本。JMX复选框,如果在kafka中没有配置则不要勾选;其他默认即可。
结果:
五、kafka-eagle
参考博客:非常详细
Kafka监控系统Kafka Eagle剖析
https://www.cnblogs.com/smartloli/p/9371904.html
六、参考
1. https://www.cnblogs.com/dadonggg/p/8242682.html
2. https://www.cnblogs.com/dadonggg/p/8205302.html