Kafka Eagle
Kafka Eagle是一款Kafka运行情况监控软件,安装包下载路径:http://download.kafka-eagle.org/
首先需要修改Kafka启动脚本
修改${KAFKA_HOME}/bin/kafka-server-start.sh
# 修改前
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 修改后
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
# export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
将修改的文件分发到集群其他节点
上传eagle安装包并解压(需要解压压缩包里面的压缩包)
配置环境变量(必须配置)
给bin目录下的ke.sh增加执行权限
修改conf目录下的system-config.properties
######################################
# multi zookeeper&kafka cluster list
######################################
# 指定集群,多个集群名称之间使用,隔开
kafka.eagle.zk.cluster.alias=cluster1
# 集群节点列表
cluster1.zk.list=num04:2181,num05:2181,num06:2181
######################################
# kafka offset storage
######################################
# cunsumer的offset保存位置,新版本保存在kafka,旧版本保存在zookeeper(值写zookeeper,不能写zk)
cluster1.kafka.eagle.offset.storage=kafka
######################################
# enable kafka metrics
######################################
# 此处需要修改,kafka管理图表
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false
######################################
# kafka jdbc driver address
######################################
# 默认设置是SQLite,需要修改为MySQL连接,指定连接IP端口、驱动、账号和密码
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://num04:3306/ke?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=ok
eagle只需要在一个节点安装
启动ke.sh start
登录成功页面:
可以登录网页查看监控数据http://192.168.226.40:8048/ke