kafka-manager 的下载及安装

kafka-manager 的下载及安装

kafka-manager的功能

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
1、管理多个kafka集群
2、便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3、选择你要运行的副本
4、基于当前分区状况进行
5、可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6、删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7、Topic list会指明哪些topic被删除（在0.8.2以上版本适用）
8、为已存在的topic增加分区
9、为已存在的topic更新配置
10、在多个topic上批量重分区

kafka-manager的安装部署

1、yum安装sbt(因为kafka-manager需要sbt编译)

curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt

离线安装：
（1）下载安装包

http://www.scala-sbt.org/download.html

(2) 解压安装

tar -zxvf sbt-1.6.2.tgz -C /opt/apps/

(4) 建立启动脚本
a. 进入安装目录

cd /opt/apps/sbt

b. 创建sbt文件

vi sbt

c. sbt文件内容

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxMetaspaceSize=256M"
java $SBT_OPTS -jar /opt/apps/sbt/bin/sbt-launch.jar "$@"

(5) 给启动脚本赋予权限
chmod a+x sbt
(6) 配置环境变量

vi /etc/profile

(7) 验证是否安装成功

sbt sbtVersion

2、下载kafka-manager并编译

1、jdk
jdk version "1.8.0_302"

2、kafka集群信息
服务器：
hadoop01:9092
hadoop02:9093
hadoop03:9094
软件：
kafka_2.12-2.6.2
apache-zookeeper-3.5.7

我们可以使用Git或者直接从Releases https://github.com/yahoo/CMAK/releases中下载，此处从下面的地址下载 3.0.0.5 版本
选择第一个zip包进行下载。下载完成后上传到Linux服务器上。

进入到源码目录，执行./sbt clean dist 进行编译
编译完成后会生成一个kafka-manager-1.3.3.23.zip文件，这个文件就是编译后的文件。

编译时间比较长，提供一个编译好的zip包，下载后解压即可：
链接: https://pan.baidu.com/s/1XzWylHWLHenSnEWIyUuBnQ?pwd=ebm2
提取码: ebm2

3、修改配置文件/opt/apps/kafka-manager/conf/application.properties

kafka-manager.zkhosts="hadoop01:2181,hadoop02:2181,hadoop03:2181" 

4、启动

nohup /opt/apps/kafka-manager/bin/kafka-manager  -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf  &  

# 加入开机启动项
echo "nohup /opt/apps/kafka-manager/bin/kafka-manager  -Dconfig.file=/opt/apps/kafka-manager/conf/application.conf  &" >> /etc/rc.local 

5、登陆WEBUI查看

http://hadoop01:9000/