Kafka安装web界面监控工具（kafka-manager）

目录

 

简介

安装

启动kafka-manager

测试kafka-manager

输出信息关键参数

---

简介

Kafka默认是没有web界面的，需要自己安装web界面监控工具

可以使用三方开源的监控工具，查询了些资料，网上流传最多的有三个监控工具：

1. Kafka Web Conslole
2. Kafka Manager
3. KafkaOffsetMonitor

（其中Kafka Web Conslole程序运行后，会定时去读取kafka集群分区的日志长度，读取完毕后，连接没有正常释放，一段时间后产生大量的socket连接，导致网络堵塞，所以不建议使用；KafkaOffsetMonitor 相对上面来说，这个工具耦合性比较低，单用于监控比较适合而且部署很简单，但是需要考虑版本兼容等问题，导致需要自己编译；kafka manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作）

若只需要监控功能，推荐使用KafkaOffsetMonitor，若偏重Kafka集群管理，推荐使用Kafka Manager

安装

1. 解压安装重命名kafka-manager-1.3.3.7.zip安装包

          unzip kafka-manager-1.3.3.7.zip

          mv kafka-manager-1.3.3.7 kafka-manager

     2.修改conf/application.conf配置文件

        

        将kafka-manager.zkhosts注释掉并修改为zookeeper地址

        

启动kafka-manager

1. 后台启动kafka-manager

         Kafka-manager默认端口是9000，可以通过 -Dhttp.port,指定端口；-Dconfig.file=conf/application.conf 指定配置文件，命令           如下：

         nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9011 &

     2.使用jps查看kafka-manager进程

        其中ProdServerStart即为kafka-manager的进程

        

     3.在浏览器上输入ip:端口号（我这里是10.103.104.181:9011）进行访问

        出现如下界面则kafka-manager安装成功

        

测试kafka-manager

        1、新建一个cluster

        点击Cluster->Add Cluster

        

          

      其他的配置可以根据自己的需要进行配置，我这里全部都选择默认

      滑到最下面，点击Save保存，你会看到这个界面

      

      2、管理和使用kafka-manage

         点击Cluster，再点击kafka-cluster-181-182-183可以查看kafka集群的详细信息

         

        

        点击上面的Brokers可以查看当前的broker信息

        

        创建topic

        

        查看topic信息

        

        

输出信息关键参数

Operations列表参数说明：

Generate Partition Assignments:

对多个topic来进行分区重分布计划的生成，知道就好，不推荐使用。

Run Partition Assignments:

对多个topic分区执行重分布计划，知道就好，不推荐使用。

Add Partitions：

对多个topic来进行添加分区操作，生成环境并不建议大家这样搞，避免误操作。

Topics列表参数说明：

Topic:

表示topic名称。

--consumer_offsets是kafka内置保存consumer offset的topic.

Partitions:

   topic对应的分区数

Brokers:

topic对应的broker数

Brokers Spread%:

指broker的分布比例，计算公式:用topic的分区分布的broker数/总的broker数量。Brokers Skew %:

  Brokers的偏斜比例，计算公式:(Broker最多的分区数/Brokers最少的分区数) -1

Brokers Leader Skew%:

Brokers的leader偏斜比例，计算公式:(Broker最多的leader分区数/Brokers最少leader

的分区数) -1

Replicas:

  副本因子，即副本数。

Under Replicated %:

  副本不足的比例，计算公式:副本不足的分区数/总分区数

Producer Message/Sec:

  每秒产生的消息数量。

Summed Recent Offsets:

      当前总计的消费偏移量。