【Kafka】使用Eagle来监控Kafka

本篇需要使用到的工具有Kafka、Eagle
Kafka下载链接: 点击下载.
Eagle下载链接: 点击下载.

修改配置文件

• 修改Kafka启动命令bin/kafka-server-start.sh
  将其中的

  if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
  	export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
  fi
  

  修改为

  if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
   export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
   export JMX_PORT="9999"
   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
  fi
  

  注意：在启动Kafka之前将修改好的启动文件发送到其他的节点

  scp kafka-server-start.sh b:/home/kafka/bin/
  scp kafka-server-start.sh c:/home/kafka/bin/
  

• 解压至指定目录
  tar -zxvf /home/download/kafka-eagle-bin-1.3.7.tar.gz -C /home/
  发现其实解压后的文件还是一个压缩包
  
  这个文件才是我们所需要的，再次解压
  tar -zxvf kafka-eagle-web-1.3.7-bin.tar.gz -C /home/
  将其重命名:mv kafka-eagle-web-1.3.7/ eagle
• 配置环境变量
  使用vi /etc/profile命令打开配置文件，在文件中修改下列内容

  export KE_HOME=/home/eagle
  export PATH=$PATH:$KE_HOME/bin
  

  使用source /etc/propfile命令时环境变量生效
• 给予执行命令执行权限:chmod 777 bin/ke.sh
• 打开conf/system-config.properties文件，并且修改成下面内容

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=a:2181,b:2181,c:2181

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000

######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa@163.com
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# alarm im configure
######################################
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=

#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://a:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

• 配置文件主要修改的地方
  拥有eagle是可以同时监控多个系统的，但是由于我们此时只有一个，所以要删除和cluster2有关的一切
  修改配置参数kafka.eagle.metrics.charts=true这样我们就可以看到图像
  修改最后的存储数据库为MySQL，填写自己的用户名与密码
  跳转顶部

启动与登录

• 在启动eagle之前需要启动zookeeper和Kafka

• 使用bin/ke.sh start启动eagle，还要其他两个命令
  bin/ke.sh stop关闭
  bin/ke.sh status查看状态
  

• 登录WEIUIhttp://ip:8048/ke
  

• 输入账户密码登录，初始密码在启动时有显示
  

• 登陆成功页面
  

跳转顶部

Eagle的使用

• 创建主题
  在左边的导航栏中选择Topic-> Create
  
  输入主题名称、分区数和副本数
  
  点击create后，就可以在list列表中看到新创建的主题
  
• 监控作用
  Metrics->Brokers可以看到整个集群数据的输入输出情况
  
  跳转顶部