kafka 集群 KRaft 模式搭建
一.架构:
1.1旧的架构
Kafka集群包含多个broker节点和一个ZooKeeper 集群。如上图集群结构:4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在被选中后,会从 ZooKeeper 中加载它的状态。选举controller的过程是由zookeeper自动完成的。
1.2新的架构
三个 controller 节点替代三个ZooKeeper节点。 controller节点和 broker 节点运行在不同的进程中。这些controller 节点中会选择一个成为Leader。新的架构中,controller不会向 broker 推送更新,而是 broker 从 controller Leader 拉取元数据的更新信息。
二,安装配置
2.1.下载
https://kafka.apache.org/downloads
2.2 配置kafka
解压
tar -xzf kafka_2.13-3.6.1.tgz
说明:
node.id 是kafka的broker节点id
controller.quorum.voters 配置的是 kafka 集群中的其他节点,kafka Controller的投票者配置,定义了一组Controller节点,其中包括它们各自的 id 和网络地址
advertised.listeners 是节点自己的监听地址
2.2.1编辑配置文件
cd /apps/kafka_2