Kafka管理工具实例应用

Kafka管理工具：kafka-manager

步骤一、下载安装包
使用sbt的方式重新编译实在太慢了，这里提供免费下载链接！！
免费下载地址：
链接：https://pan.baidu.com/s/1Epv8zJ6YCA36tj1E3uk1oA
提取码：y4en

步骤二、解压安装包

# unzip kafka-manager-1.3.0.7.zip
# cd kafka-manager-1.3.0.7/conf/

步骤三、修改配置文件

# vim application.conf
kafka-manager.zkhosts="192.168.120.128:2181,192.168.120.129:2181,192.168.120.130:2181"          #修改自己的zkhosts
#kafka-manager.zkhosts=${?ZK_HOSTS}

步骤四、启动服务

# cd kafka-manager-1.3.0.7/bin/
# nohup ./kafka-manager &
# ss -anptl | grep 9000
LISTEN     0      50        [::]:9000                  [::]:*                   users:(("java",pid=8583,fd=115))

访问页面成功即启动完成！

步骤五、kafka-manager配置
1、新建Cluster
点击【Cluster】>【Add Cluster】打开如下添加集群配置界面：输入集群的名字（如Kafka-Cluster-1）和 Zookeeper 服务器地址（如localhost:2181），选择最接近的Kafka版本


新建完成后：



2、查看topic

3、创建topic


命令获取也能看到创建的topic：

4、含义解释

Messages in /sec：每秒流入的消息数
Bytes in /sec：每秒流入的字节数
Bytes out /sec：每秒流出的字节数
Bytes rejected /sec：每秒拒绝流入的字节数
Failed fetch request /sec：每秒失败的抓取数据请求数
Failed produce request /sec：每秒失败的生产数据请求数

Total Lag：当前消费者消费topic总的数据延迟量
% of Partitions assigned to a consumer instance：当前消费者覆盖的partition百分比

Partitions：分区数
Brokers：占用的broker
Brokers Spread %：broker的覆盖率
Brokers Skew %：broker 倾斜率
Replicas：副本数
Under Replicated %：该 topic 下的 partition，其中副本处于失效或者失败的比率
Producer Message/Sec：生产者每秒生效的消息数
详解：
三个参数对于衡量 topic 的稳定性有重要的影响：
Broker Skew: 反映 broker 的 I/O 压力，broker 上有过多的副本时，相对于其他 broker ，该 broker 频繁的从 Leader 分区 fetch 抓取数据，磁盘操作相对于其他 broker 要多，如果该指标过高，说明 topic 的分区均不不好，topic 的稳定性弱；
Broker Leader Skew：数据的生产和消费进程都至于 Leader 分区打交道，如果 broker 的 Leader 分区过多，该 broker 的数据流入和流出相对于其他 broker 均要大，该指标过高，说明 topic 的分流做的不够好；
Under Replicated: 该指标过高时，表明 topic 的数据容易丢失，数据没有复制到足够的 broker 上。