目录
目前从网上查询到的监控工具有4个,本文默认kafka已经部署完成,如未部署请参考这里
1.Kafka Web Console
网传:该工具运行一段时间后,会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞;有bug,没有部署。
2.KafkaOffsetMonitor
更偏向于对kafka运行情况的监控
(1)从git上下载:https://github.com/quantifind/KafkaOffsetMonitor/releases
(2)jar包直接运行
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk my108:2181,my109:2181,my110:2181 --port 11010 --refresh 5.seconds --retain 1.days &
(3)页面展示
3.Kafka Manager
该监控工具更偏向于对kafka集群的管理,也有监控;
(1)从github上下载release版本1.3.3.22
https://github.com/yahoo/kafka-manager/releases
(2)使用sbt编译(需要联网,具体配置参考网络);生成kafka-manager-1.3.3.22.zip;(点我下载)
(3)上传到服务器,解压运行
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=11020 &
(4)页面展示(可以在页面创建集群)
4.kafka Eagle
对kafka集群topic的管理+监控
(1)从git上下载:http://download.smartloli.org (本例选择1.2.9版本)
(2)解压(需要解压两次)
kafka-eagle-bin-1.2.9.tar.gz 解压完后生成:kafka-eagle-web-1.2.9-bin.tar.gz
再解压生成:kafka-eagle-web-1.2.9
(3)修改配置(kafka-eagle-bin-1.2.9/kafka-eagle-web-1.2.9/conf/system-config.properties)
#设置kafka集群(可以多个)
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=my108:2181,my109:2181,my110:2181
#设置页面访问端口
kafka.eagle.webui.port=11030
#设置kafka数据库地址
#sqllite
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=smartloli
#mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root
(4)启动运行
./ke.sh start
(5)页面展示