Kafka-Eagle监控的安装和使用

服务器准备

VMware Workstation Pro 15.5

Centos6.5 64bit

Kafka版本选择：Kafka_2.11-0.11.0.0

Kafka-Eagle版本选择：Kafka Eagle 1.4.6

Kafka-Eagle下载地址: http://download.kafka-eagle.org/

集群规划

node1	node2	node3
Kafka	Kafka	Kafka
Zookeeper	Zookeeper	Zookeeper
KafkaEagle

安装过程

1. 修改kafka启动命令

vim bin/kafka-server-start.sh
# 找到以下几行
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 将其修改为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

注意：修改完成后需要向集群内其他机器分发此文件

2. 上传 kafka-eagle-xxx.tar.gz 到集群

3. 解压到本地

tar -zxvf kafka-eagle-bin-1.4.6.tar.gz
# 进入解压后的文件夹
cd kafka-eagle-bin-1.4.6
# 解压文件夹内的文件
tar -zxvf kafka-eagle-web-1.4.6-bin.tar.gz -C /opt/module
# 修改名称
mv /opt/module/kafka-eagle-web-1.4.6 eagle
# 赋予启动文件执行权限
chmod 777 eagle/bin/ke.sh

4. 修改配置文件 system-config.properties

vim eagle/config/system-config.properties
# 修改集群的信息
cluster1.zk.list=node1:2181,node1:2181,node1:2181
# kafka offset的存放地
cluster1.kafka.eagle.offset.storage=kafka
# 在页面上显示图表
kafka.eagle.metrics.charts=true
# 配置使用mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&ch
aracterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

5. 添加环境变量

vim /etc/profile
# 加入如下内容
export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin
# 完成后刷新配置文件
source /etc/profile

6. 启动zookeeper和kafka集群

zkServer.sh start
kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

7. 启动监控

eagle/bin/ke.sh start

8. 登录页面查看监控数据