kafka eagle安装及使用

最新推荐文章于 2024-05-01 09:48:51 发布

南北

最新推荐文章于 2024-05-01 09:48:51 发布

阅读量1.4k

点赞数

文章标签： kafka linux 分布式

本文链接：https://blog.csdn.net/qq_43480386/article/details/125604130

版权

kafka eagle

Kafka Eagle是一个监控系统，监控Kafka群集以及偏移量，消费者等等。

通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正在使用的主题以及该组在每个主题中的偏移量，消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者，也可以对Kafka系统的整体运作情况有一个宏观的认识。

kafka eagle的安装及使用

安装前置
本文介绍的是在linux服务器下单机版监控kafka的安装及配置
在安装前，要安装好mysql，这里我使用的的mysql5.7
下载kafka eagle的安装包：kafka eagle 下载安装地址

1. 安装

上传安装包到linux服务器指定文件夹下然后解压

# tar -zvxf 监控 -C 指定安装文件目录 
tar -zvxf kafka-eagle-bin-2.0.8.tar.gz

# 在当前目录找到解压后的文件夹，进入文件夹找到efak-web-2.0.8-bin.tar.gz再次解压
tar -zvxf kafka-eagle-bin-2.0.8.tar.gz -C /opt/module

# 修改eagle名为 kafka-eagle
mv efak-web-2.0.8-bin kafka-eagle

2. mysql配置及配置前置

使用远程连接工具，运行创建ke数据库，用来存储元数据

create database ke;

设置环境变量

vim /etc/profile
export KE_HOME=/opt/module/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
-- source一下，让服务器可以识别的到
source  /etc/profile

修改kafka的启动脚本，开放JMX_PORT
在下方的if判断进行修改，参照如下设置
if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx1G -Xms1G”
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 
-XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
  # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

整体如下

# 进入kafka的脚本目录bin
cd kafka的bin目录
vim bin/kafka-server-start.sh

# 修改脚本
if [ $# -lt 1 ];
then
        echo "USAGE: $0 [-daemon] server.properties [--override property=value]*"
        exit 1
fi
base_dir=$(dirname $0)

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then
    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 
-XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
  # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}

COMMAND=$1
case $COMMAND in
  -daemon)
    EXTRA_ARGS="-daemon "$EXTRA_ARGS
    shift
    ;;
  *)
    ;;
esac

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"