Kafka Manager部署及使用

1. 配置Java环境变量

   [root@node00 profile.d]# pwd
   /etc/profile.d
   [root@node00 profile.d]# cat java.sh 
   export JAVA_HOME=/usr/java/default
   export PATH=$PATH:$JAVA_HOME/bin
   

   执行如下命令使环境变量生效并查看java版本

   [root@node00 ~]# java -version
   java version "1.8.0_162"
   Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
   Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
   

2. 下载kafka-manager源码
   命令行使用git命令将kafka-manager的源码下载到本地

   [root@node00  ~]# git clone https://github.com/yahoo/kafka-manager.git
   

3. 编译kafka-manager

   [root@node00 ~]# cd kafka-manager/
   [root@node00 kafka-manager]# ./sbt clean dist
   

   注：若出现sbt的错误，可能是没有安装sbt 。yum install -y sbt
   在编译的过程中，日志中有warn可以，但不要有error。有错误则检查解决。

   编译需要耗费大量的时间，需要耐心等待。

4. 编译完成后，找到编译好的压缩包kafka-manager-1.3.3.22.zip

   [root@node00 universal]# pwd
   /root/soft/kafka-manager/target/universal
   [root@node00 universal]# ll
   total 82444
   -rw-r--r-- 1 root root 84416362 Feb 28 13:31 kafka-manager-1.3.3.22.zip
   drwxr-xr-x 3 root root     4096 Feb 28 13:31 scripts
   

5. 部署Kafka-Manager
   将上述编译好的zip压缩包，拷贝至/opt/cloudera目录下并解压

   [root@node00 universal]# cp kafka-manager-1.3.3.22.zip /opt/cloudera/
   [root@node00 universal]# cd /opt/cloudera/
   [root@node00 cloudera]# unzip kafka-manager-1.3.3.22.zip
   

   若提示没有unzip命令，安装一下：yum install -y unzip

6. 修改application.conf配置

   [root@node00 conf]# pwd
   /opt/cloudera/kafka-manager-1.3.3.22/conf
   [root@node00 conf]# ll
   total 24
   -rw-r--r-- 1 root root 2650 Feb 28 15:00 application.conf       (修改此文件)
   -rw-r--r-- 1 root root  184 Feb 28 12:43 consumer.properties
   -rw-r--r-- 1 root root 2108 Feb 28 12:43 logback.xml
   -rw-r--r-- 1 root root 1367 Feb 28 12:43 logger.xml
   -rw-r--r-- 1 root root 7423 Feb 28 12:43 routes
   

   修改如下配置：

   1. zoopkeeper地址
   2. 用户名
   3. 密码

   kafka-manager.zkhosts="node00:2181,node01:2181,node02:2181"        # zoopkeeper地址 
   kafka-manager.zkhosts=${?ZK_HOSTS}
   ...
   basicAuthentication.username="admin"                                # 用户名 
   basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
   basicAuthentication.password="123456"                                # 密码
   basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}
   

7. 启动Kafka-Manager

   Kafka-Manager启动默认端口号为9000，可以通过-Dhttp.port来指定端口号

   [root@node00 kafka-manager-1.3.3.22]# nohup bin/kafka-manager -Dhttp.port=8090 > nohup.out 2>&1 &
   

   监听8090端口

   [root@node00 universal]# netstat -apn | grep 8090
   tcp6       0      0 :::8090                 :::*                    LISTEN      16508/java          
   

8. 访问登录http://172.16.10.190:8090
   

9. 停止Kafka-Manager

    # 查看进程号
   [root@node00 kafka-manager-1.3.3.22]# cat RUNNING_PID 
   16508
   # 杀死进程
   [root@node00 kafka-manager-1.3.3.22]# kill -9 16508
   # 删除RUNNING_PID 文件
   [root@node00 kafka-manager-1.3.3.22]# rm -rf RUNNING_PID 
   

10. Kafka-Manager使用

    1. 点击Cluster菜单，添加一个Kafka集群
       
    2. 输入Kafka集群的相关信息 查看kafka版本 (2.11是Scala 的版本，1.0.1才是kafka的版本)

       [root@node00 kafka]# pwd
       /opt/cloudera/parcels/KAFKA/lib/kafka
       [root@node00 kafka]# find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
       kafka_2.11-1.0.1-kafka-3.1.0-SNAPSHOT.jar
       

       根据自己当前Kafka集群的环境进行相应的配置，点击“Save”完成集群添加
       
    3. 点击 Kafka-CDH 连接，进入Kafka集群的详细界面，下图为Kafka的统计信息
       

11. 启停脚本

    #! /bin/bash
    
    case $1 in
    "start"){
            echo " -------- 启动 KafkaManager -------"
            nohup /usr/local/kafka-manager-1.3.3.22/bin/kafka-manager   -Dhttp.port=8090 >start.log 2>&1 &
    };;
    "stop"){
            echo " -------- 停止 KafkaManager -------"
            ps -ef | grep ProdServerStart | grep -v grep |awk "{print \$2}" | xargs kill 
    };;
    esac