部署kafka-eagle(kafka集群的监控系统) [记录]

学习记录文档，若有错误多谢指出。

kafka-eagle

kafka-eagle是一个kafka集群的实时监控系,若是学习使用可以搭建在宿主机。

配置

配置kafka的启动脚本以支持eagle。

vim /opt/module/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms1G -Xmx1G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
    # export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
fi

分发

3 ~ 4

scp /opt/module/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh centos7x8664-3:/opt/module/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh

安装kafka-eagle

解压

tar -zxvf kafka-eagle-bin-1.3.7.tar.gz

cd kafka-eagle-bin-1.3.7/

tar -zxvf kafka-eagle-web-1.3.7-bin.tar.gz -C  /opt/module/

给予启动文件执行权限

chmod +x /opt/module/kafka-eagle-web-1.3.7/bin/ke.sh

配置KE环境变量（必须）

ke启动时需要该变量

vim /etc/profile

export KE_HOME=/opt/module/kafka-eagle-web-1.3.7
export PATH=$PATH:$KE_HOME/bin

source /etc/profile

服务配置

vim /opt/module/kafka-eagle-web-1.3.7/conf/system-config.properties

zookeeper集群地址

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=centos7x8664-2:2181,centos7x8664-3:2181,centos7x8664-4:2181

删除：cluster2.zk.list

配置kafka-offset存储位置

0.9x之后offset不再存到zookeeper

删除：cluster2.kafka.eagle.offset.storage=zk

开启图表的展示

kafka.eagle.metrics.charts=true

你可以开启异常提醒并设置邮箱

cluster1.kafka.eagle.sasl.enable=true

配置kafka-eagle存储元数据信息的数据库

172.16.235.1 为虚拟机独立网段地址

创建mysql docker容器

docker run -itd --name=mysql_vm \
    -p 172.16.235.1:3306:3306 \
    -v mysql-vm-volume:/etc/mysql \
    -e MYSQL_ROOT_PASSWORD=root \
    mysql:5.7.29 --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci

配置四要素

kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org

使用

启动

sh /opt/module/kafka-eagle-web-1.3.7/bin/ke.sh start

停止

sh /opt/module/kafka-eagle-web-1.3.7/bin/ke.sh stop