kafka eagle安装与使用

1.概述

在开发工作当中，在使用 Kafka 集群进行消息的生产和消费时，数据的变动以及topic的管理是我们所关心的内容，这就要求一套行之有效的监控管理体系。常见的kafka监控软件有4种如下所示

• Kafka Web Conslole ：监控功能较为全面，可以预览消息，监控Offset、Lag等信息，但存在bug，不建议在生产环境中使用。
• Kafka Manager：偏向Kafka集群管理，若操作不当，容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。
• KafkaOffsetMonitor：程序一个jar包的形式运行，部署较为方便。只有监控功能，无管理功能，使用起来也较为安全。
• Kafka Eagle：用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生，Offset 的变动，Partition 的分布，Owner ，Topic 被创建的时间和修改的时间等信息。同时可以对topic进行管理。

[ Kafka Eagle下载地址 ]

2.Kafka Eagle使用配置

将下载好的Kafka Eagle压缩包FTP至服务器并解压。笔者使用的是1.1.3版本，在1.1.4版本中添加了系统权限管理，需要配置mysql来存储信息。

1.进入Kafka Eagle目录，进入conf目录修改system-config.properties配置文件内容如下

# multi zookeeper&kafka cluster list
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=10.8.120.25:2181

# zk limit
kafka.zk.limit.size=25

# kafka eagel webui port
kafka.eagel.webui.port=8048

# kafka offset storage
kafka.eagle.offset.storage=kafka

# kafka rpc port
kafka.eagle.offset.rpc.port=4396

# Delete kafka topic token
kafka.eagle.topic.token=cas.kafkaeagle

2.进入Kafka Eagle目录，进入bin目录

chmod +x ke.sh
./ke.sh start

3.输入http://ip:8048/ke/，当进入以下界面，说明配置成功

4.然后就可以进行管理了

3.总结

Kafka Eagle 的安装与使用都很简介，需配置好 Kafka 集群所属的 Zookeeper 集群地址。本文参考资料如下:

• [ 哥不是小萝莉 的博客园 ]
• [ Kafka Eagle 使用说明文档 ]

4.结语

本文由笔者自行编写，如有错误，还请诸位同仁指正。