Kafka集群搭建

文章摘要

集群规划

使用的Ubuntu版本与Kafka版本号

名称	版本
Ubuntu	22.04.2
Kafka	2.12-3.4.0

主机名和ip规划

主机名	ip地址
master	192.168.1.217
slave1	192.168.1.218
slave3	192.168.1.216

下载kafka

进入/opt文件夹

cd /opt

下载kafka压缩包

sudo wget https://archive.apache.org/dist/kafka/3.4.0/kafka_2.12-3.4.0.tgz

解压kafka

sudo tar zxvf kafka_2.12-3.4.0.tgz

重命名文件

# 重命名文件夹的名称为kafka
sudo mv kafka_2.12-3.4.0 kafka

单机运行kafka

进入/opt文件夹执行下属命令

sudo bin/kafka-server-start.sh config/server.properties

使用jps检测kafka是否启动成功

集群配置修改

进入kafka的配置文件

sudo nano /opt/kafka/config/server.properties

修改以下参数

broker.id=0 
listeners=PLAINTEXT://master:9092
log.dirs=/opt/data/kafka/kafka-logs
zookeeper.connect= master:2181,slave2:2181,slave3:2181

将kafka安装目录分发给其他集群节点

scp -r /opt/kafka/ flink@slave2:/opt
scp -r /opt/kafka/ flink@slave3:/opt

集群启动

将kafka文件夹权限赋予flink用户

sudo chown -R flink:flink /opt/kafka

进入/bin文件夹中编写集群启动脚本， 本例中脚本名称为mykafka.sh

#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 kafka 集群 ======================"
for host in master slave2 slave3
do
echo "----------------- 启动 $host -------------------"
ssh $host "nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /opt/kafka/logs/kafka-server.log 2>&1 &"
done
;;
"stop")
echo " =================== 关闭 kafka 集群 ======================"
for host in master slave2 slave3
do
echo "----------------- 关闭 $host -------------------"
ssh $host "/opt/kafka/bin/kafka-server-stop.sh"
done
esac

kafka可视化工具

方法1：web UI（使用cmak）

# 下载cmak
sudo wget https://github.com/yahoo/CMAK/releases/download/3.0.0.6/cmak-3.0.0.6.zip

# 解压缩cmak.zip
sudo unzip cmak-3.0.0.6.zip

# 更改文件夹名称为cmak
sudo mv cmak-3.0.0.6 cmak

# 修改配置文件
cmak/conf/application.conf

# 更改配置如下，更改为自己的Zookeeper地址，若是Zookeeper集群，写上master的就可以
kafka-manager.zkhosts="10.39.88.58:2181"
cmak.zkhosts="10.39.88.58:2181"

# 进入cmak的bin文件
# 使用nohup执行
nohup ./cmak  -Dconfig.file=../conf/application.conf -Dhttp.port=9002 > ../log/temp 2>&1 &

方法2：Kafka Tool

搜索下载安装kafkaTool。下载地址：https://www.kafkatool.com/download.html
正常安装即可。

可视化工具使用

CMAK的使用

访问对应的端口号，本例中使用的端口号为9092

配置一下cluster

配置完成就可以登录进去使用了

Kafka Tool的使用

打开Kafka Tool工具，在Properties页面中，编写集群名称和集群的ip地址，这个ip写主ip就好（也没试过写多个ip能否成功，但写Zookeeper的masterip是可以的）。编写万成功可以点击右侧的Ping测试下连通性

选择Advanced页面，在红框部分填写Kafka集群的ip及端口号，中间用英文逗号隔开。填写完成后点击右下角的Test测试，测试通过后点击旁边的Add按钮添加进入。