kafka-eagle-2.0.1安装及使用(超详细)

kafka-eagle-2.0.1安装及使用(超详细)

一、简介

kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic 被消费的情况，并且包含 Kafka Manager 的相关功能等。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。
具体介绍请参考：http://www.kafka-eagle.org/articles/docs/architecture/collect.html

二、下载、安装及配置

2.1、下载及安装

kafka-eagle的下载安装地址： http://www.kafka-eagle.org/index.html
下载及解压缩等步骤省略；安装之前我们首先需要配置kafka-eagle的环境变量，配置完成后需要source一下使文件生效

2.2、修改配置文件

vim $KE_HOME/conf/system-config.properties

############################################################################
# 配置Kafka集群所对应的Zookeeper
############################################################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=xxxxxx:2181,xxxxxx:2181,xxxxxx:2181
############################################################################
# 设置Zookeeper线程数，默认25个
############################################################################
kafka.zk.limit.size=25
############################################################################
# 设置Kafka Eagle浏览器访问端口，80端口
# 需要换成其他端口，避免和其他端口冲突
############################################################################
kafka.eagle.webui.port=18048
############################################################################
# 存储消费信息的类型，一般在0.9版本之前，消费信息会默认存储在Zookeeper中，
# 所以存储类型设置zookeeper即可;如果是在0.10版本之后，消费者信息默认存储在
# Kafka中，所以存储类型需要设置为kafka。注意：这里配置的是默认存储的位置。
# 我们的offset保存在了zk中，如果配置为zk，dashboard会看不到消费者的信息
############################################################################
cluster1.kafka.eagle.offset.storage=kafka
############################################################################
# 开启性能监控，数据默认保存30天
############################################################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30
############################################################################
# 在使用KSQL查询主题时，如果遇到错误，可以尝试开启这个属性，默认情况下不开启
############################################################################
kafka.eagle.sql.fix.error=true
############################################################################
# 超级管理员删除主题的Token
############################################################################
kafka.eagle.topic.token=keadmin
############################################################################
# 如果启动Kafka SASL协议，开启该属性；SASL是一个鉴权协议，主要用来保证客户端
# 登录服务器的时候，传输的鉴权数据的安全性， SASL是对用户名和密码加解密用的
############################################################################
kafka.eagle.sasl.enable=true
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
############################################################################
# Kafka Eagle默认存储在Sqlite中，这里我们使用MySQL来存储
############################################################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/Users/dengjie/workspace/kafka-egale/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=root

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://xxxxxx:3306/kafka_eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=xxxxxx

2.3、启动kafka eagle

配置完成后，执行$KE_HOME/bin/ke.sh start，这里需要注意的是先给ke.sh权限：chmod +x $KE_HOME/bin/ke.sh
重启：bin/ke.sh restart 关闭：bin/ke.sh stop
登录网址：http://xxxxxxxxxxxxxxxx
用户：admin    密码：123456

三、网页总览

3.1、注意

需要注意的是以下浏览器的最新版本支持kafka eagle ：chrome、firefox、safary、Microsoft Edge和ie11，旧版本可能不支持，需要将浏览器更新到最新版本。

作者的qq群：424769183

3.2、页面总览

这里包含了kafka集群的节点、topic、zk信息、消费者组、Topic Top10的日志大小、Topic Top10的容量等等一些信息。

Kafka-eagle展示大屏：从左到右展示的是过去7天的生产记录、从左到右展示的是过去7天的消费记录、总的topic记录数、今天生产者的信息、今天消费者的信息、今天滞后的信息




另外需要注意的是，配置钉钉报警时，关键字一定要是Kafka Eagle Alarm xxx Notice几个单词中的一个单词或字母；配置邮件报警的话，要自己封装一个接口

四、结语

如果在使用Kafka Eagle系统中遇到其他问题，可以看$KE_HOME/logs/ke_console.out日志来分析具体的异常信息，一般都会提示具体的错误，大家可以根据错误提示来进行解决。