Kafka 监控工具 Kafka-eagle

Kafka Eagle (kafka-eagle.org)

1. 在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加 group、topic 分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于 Kafka 集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况

2. 早期，要监控 Kafka 集群我们可以使用 Kafka Monitor 以及 Kafka Manager，但随着我们对监控的功能要求、性能要求的提高，这些工具已经无法满足

3. Kafka Eagle 是一款结合了目前大数据 Kafka 监控工具的特点，重新研发的一块开源免费的 Kafka 集群优秀的监控工具。它可以非常方便的监控生产环境中的 offset、lag 变化、partition 分布、owner 等

安装前准备

1. 下载安装包

Kafka-Eagle Download 1.4.6

2. 开启 Kafka JMX

# 在 kafka-server-start.sh 启动脚本前增加
cd ${KAFKA_HOME}
export JMX_PORT=9988

3. 检查是否安装 JDK 并配置好环境变量

4. 准备 mysql 数据库

安装及配置

1. 上传并解压

# 解压 kafka-eagle
cd /opt/server/
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C /opt/server/

# 解压 kafka-eagle-web
cd /opt/server/kafka-eagle-bin-1.4.6/ 
tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz

2. 配置 kafka_eagle 环境变量

# 1.
vim /etc/profile

# 2.
export KE_HOME=/opt/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
export PATH=$PATH:$KE_HOME/bin

# 3.
source /etc/profile

3. 配置 kafka_eagle

vim /opt/server/kafka-eagle-bin-1.4.6/conf/system-config.properties

# 修改第4行，配置kafka集群别名
kafka.eagle.zk.cluster.alias=cluster1
# 修改第5行，配置ZK集群地址
cluster1.zk.list=node1:2181,node2:2181,node3:2181
# 注释第6行
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

# 修改第32行，打开图标统计
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30

# 注释第69行，取消sqlite数据库连接配置
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

# 修改第77行，开启 mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

4. 配置 JAVA_HOME

cd /opt/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin

vim ke.sh

# 在第24行添加JAVA_HOME环境配置
export JAVA_HOME=/usr/java/jdk1.8.0_172

5. 修改 Kafka eagle 可执行权限

cd /opt/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin

chmod +x ke.sh

启动并访问

启动 kafka_eagle

cd /opt/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
./ke.sh start

访问

http://node1:8048/ke 初始用户名：admin 密码：123456