从零开始搭建个人大数据集群（9）——KAFKA管理工具安装(cmak)

从零开始搭建个人大数据集群——环境准备篇
从零开始搭建个人大数据集群（1）——zookeeper
从零开始搭建个人大数据集群（2）——HDFS
从零开始搭建个人大数据集群（3）——YARN
从零开始搭建个人大数据集群（4）——HIVE
从零开始搭建个人大数据集群（5）——HBASE
从零开始搭建个人大数据集群（6）——SPARK
从零开始搭建个人大数据集群（7）——KAFKA
之前安装过另一个kafka可视化管理工具kafka-eagle，那个界面做的很漂亮，功能也很强大，但确实不适合在虚拟机上启动，内存占用太高，启动后直接占了1G+内存，所以决定弃用那个改装cmak

安装前的准备

1.安装好并启动kafka集群
2.下载好cmak-3.0.0.5.zip

解压

cd /opt/packages
unzip cmak-3.0.0.5.zip
mv cmak-3.0.0.5 ../apps/
cd /opt/apps/cmak-3.0.0.5

配置

[hadoop@hd1 cmak-3.0.0.5]$ cd conf
[hadoop@hd1 conf]$ ll
总用量 28
-rw-r--r--. 1 hadoop hadoop 3088 6月   8 19:52 application.conf
-rw-r--r--. 1 hadoop hadoop  184 2月  17 2020 consumer.properties
-rw-r--r--. 1 hadoop hadoop 2011 2月  17 2020 logback.xml
-rw-r--r--. 1 hadoop hadoop 1367 2月  17 2020 logger.xml
-rw-r--r--. 1 hadoop hadoop 8245 3月   2 2020 routes

vim application.conf
# 只需要配置cmak.zkhosts一项就行

安装jdk11

cmak运行需要依赖jdk11，所以在原有jdk8的基础上再装一个jdk11
我用的是jdk-11.0.10_linux-x64_bin.tar.gz，可以从我网盘里下载
链接：https://pan.baidu.com/s/1dLw1nuP9ahlIwrVykVNiGw
提取码：kofd
下载完直接上传到服务器上解压就行，不需要配置环境变量

启动

启动cmak之前请自行启动zookeeper和kafka
cmak启动命令
nohup /opt/apps/cmak-3.0.0.5/bin/cmak -Dconfig.file=/opt/apps/cmak-3.0.0.5/conf/application.conf -Dhttp.port=6060 -java-home /usr/local/jdk-11.0.10 > /tmp/cmak_logs 2>&1 &
这里建议配置一下别名，毕竟启动命令有点长

vim ~/.bashrc
# .bashrc
alias zkcli='zkCli.sh -server hd1:2181,hd2:2181,hd3:2181'
alias zkman='~/zk/ssh_all.sh zkServer.sh'
alias sshall='~/op/ssh_all.sh'
alias sshzk='~/zk/ssh_all.sh'
alias mrhista='mr-jobhistory-daemon.sh start historyserver'
alias mrhisto='mr-jobhistory-daemon.sh stop historyserver'
alias spark-start='/opt/apps/spark/sbin/start-all.sh'
alias spark-stop='/opt/apps/spark/sbin/stop-all.sh'
alias kafkastart='~/zk/ssh_all.sh "nohup kafka-server-start.sh /opt/apps/kafka/config/server.properties > /tmp/kafka_logs 2>&1 &"'
alias cmak='nohup /opt/apps/cmak-3.0.0.5/bin/cmak -Dconfig.file=/opt/apps/cmak-3.0.0.5/conf/application.conf -Dhttp.port=6060 -java-home /usr/local/jdk-11.0.10 > /tmp/cmak_logs 2>&1 &'
# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions

# 刷新环境变量
source ~/.bashrc
# 之后就可以直接敲cmak来启动了

创建集群

创建集群的时候有可能报错，需要在zookeeper里面手动创建几个目录

create /kafka-manager/mutex ""
create /kafka-manager/mutex/locks ""
create /kafka-manager/mutex/leases ""