kafka集群之kraft模式部署

furrer

已于 2022-12-20 15:43:46 修改

阅读量1.2k

点赞数 2

分类专栏：大数据学习专栏文章标签： kafka java 大数据

于 2022-12-20 11:34:02 首次发布

本文链接：https://blog.csdn.net/qq_39334151/article/details/128381657

版权

大数据学习专栏专栏收录该内容

6 篇文章 0 订阅

订阅专栏

一、了解kraft

	Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
	目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，kafka3.x开始提供KRaft模式，来取消Kafka对Zookeeper的依赖。
	那么，kraft模式的优势又有哪些呢？
	1、更简单的部署和管理——通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
	2、提高可扩展性——KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
	3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。

二、安装部署kraft模式的kafka集群

1、下载安装包

	在kafka官网下载对应版本的二进制安装包，这边下载的是3.3.1，如下图所示[kafka下载地址](https://kafka.apache.org/downloads)
	![下载界面](https://img-blog.csdnimg.cn/53f6bb15789147119c1b63b77c2a3492.png)
	下载后上传至服务器即可。

2、部署配置

2.1 解压缩

tar -zxvf kafka_2.12-3.3.1.tgz -C /home/

2.2 修改配置文件

mv /home/kafka_2.12-3.3.1 /home/kafka
chown zondy:zondy -R /home/kafka
cd /home/kafka/
mkdir data
vim /home/kafka/config/kraftserver.properties

这里初步要修改的地方有以下参数，生产环境还需要根据实际需要调整其他参数以满足生产需求。

#对应节点的id，这里三台节点，分别为1,2，3
node.id=1
#集群选举控制器配置
controller.quorum.voters=1@172.17.9.191:9093,2@172.17.9.192:9093,3@172.17.9.193:9093
#监听服务ip端口设置
advertised.listeners=PLAINTEXT://172.17.9.191:9092
#设置日志文件存储路径
log.dirs=/home/kafka/data

2.3 分发kafka

scp -r /home/kafka zondy@172.17.9.192:/home
scp -r /home/kafka zondy@172.17.9.193:/home

2.4 修改其他两个节点的配置

节点2

#对应节点的id，这里三台节点，分别为1,2，3
node.id=2
advertised.listeners=PLAINTEXT://172.17.9.192:9092

节点3

#对应节点的id，这里三台节点，分别为1,2，3
node.id=3
advertised.listeners=PLAINTEXT://172.17.9.193:9092

2.5 生成集群ID

整个集群有一个唯一的ID标志，使用uuid。可使用官方提供的 kafka-storage 工具生成，亦可以自己去用其他生成uuid。

/home/kafka/bin/kafka-storage.sh random-uuid

生成ID：fu_Rqt_4SxeMK46nDRSJNA

2.6 格式化存储路径

/home/kafka/bin/kafka-storage.sh format -t fu_Rqt_4SxeMK46nDRSJNA -c /home/kafka/config/kraft/server.properties

2.7 启功节点服务

在每个节点上启动 Kafka 服务器。

bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

可通过jps查看kafka进程是否已经运行。

2.8 验证及测试

创建topic

bin/kafka-topics.sh --create --topic First_Kafka_Topic --partitions 1 --replication-factor 3 --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092

查看topic列表

bin/kafka-topics.sh --list --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092

至此，Kafka的集群基本安装完成，后续根据生产环境进行参数调优。

3、集群启停脚本

为了方便集群启停操作，这边写了kafka集群启停脚本。

cd /usr/bin
vim kfk.sh

#!/bin/bash
#kafka集群启动脚本
case $1 in
 "start"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "--------启动 $i kafka with kraft-------"
       ssh $i "/home/kafka/bin/kafka-server-start.sh -daemon /home/kafka/config/kraft/server.properties"
    done
};;
"stop"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "------停止 $i kafka--------"
       ssh $i "/home/kafka/bin/kafka-server-stop.sh"
    done
};;
esac

chmod 777 kfk.sh

启动命令：kfk.sh start
停止命令：kfk.sh stop