2步教会你监控Kafka集群

前言

平常想监控kafka的一些性能和指标，或者是创建一些主题，总是需要通过命令行，并不是很方便，下面介绍一个kafka的监控工具，话不多说，直接开干

准备阶段

• 安装Kafka-Eagle（kafka的监控工具）

  EFAK

开始部署

• 上传文件到，服务器，具体路径可以自己定，我使用的是/export/software

  • cd /export/software/

  • rz 选择window下刚才下载的Kafka-Eagle文件（kafka-eagle-bin-2.0.8.tar.gz）（如果没有rz命令，自行百度下载）

  • tar -xvzf kafka-eagle-bin-2.0.8.tar.gz -C ../server/ （解压）

  • cd /export/server/kafka-eagle-bin-2.0.8还需要解压一次里面的内容

  • tar -xvzf efak-web-2.0.8-bin.tar.gz

• 配置 kafka_eagle 环境变量

  • vim /etc/profile

    • export KE_HOME=/export/server/kafka-eagle-bin-2.0.8/efak-web-2.0.8

    • export PATH=PATH:PATH:PATH:KE_HOME/bin

    • source /etc/profile

• 配置 kafka_eagle的配置文件（在efak-web-2.0.8/conf目录下面)

  • vim conf/system-config.properties

    • #修改kafka集群别名

      kafka.eagle.zk.cluster.alias=cluster1

    • 配置ZK集群地址

      • cluster1.zk.list=node1:2181,node2:2181,node3:2181

    • 注释下面行

      • #cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

    • 取消sqlite数据库连接配置

      #kafka.eagle.driver=org.sqlite.JDBC #kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db #kafka.eagle.username=root #kafka.eagle.password=www.kafka-eagle.org

    • 开启mysql链接配置

      kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull kafka.eagle.username=root kafka.eagle.password=123456

• 修改kafka_eagle 启动脚本

  • cd /export/server/kafka-eagle-bin-2.0.8/kafka-eagle-web-2.0.8/bin

  • vim ke.sh（在后面加入）

    • export JAVA_HOME=/export/server/jdk1.8.0_241（jdk的安装路径）

• 开启Kafka JMX（创建一个kafka的启动脚本）

  • vim kafka_start.sh

    cd ${KAFKA_HOME}

    export JMX_PORT=9988

    nohup kafka-server-start.sh config/server.properties &

• 启动，ke.sh start

  • 

     

• 成功的标志，你能看到这个登录界面，并且进去

  •