Kafka Kraft模式集群 + ssl

于 2025-05-26 17:07:37 发布
阅读量1.4k 收藏 18
点赞数 29
文章标签： kafka ssl 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuo_haiying/article/details/148226042
版权

文章目录

启用集群

配置集群时关键就是提前梳理好需要的网络资源，完成对应server.properties文件的配置。在执行前先把这些梳理好，可以方便后面的配置，也不容易出错，其他操作跟单机Kafka版都是一样的。
一般需要提前规划各节点所在服务器、端口、Kafka安装路径、数据存放位置、配置文件位置、ssl证书位置（需要配置的ssl的话才需要）。对于测试，如果所有节点都在同一台服务器上，直接使用同一个Kafka搭配多个不同配置文件启动多个实例就行。

资源规划

下面是通过一台服务器的多个端口仿照多台服务器，配置3个节点的集群，大概需要以下资源：

服务器地址broker端口controller端口安装位置配置文件数据证书位置
192.168.1.190929095/home/kafka-cluster/broker1/home/kafka-cluster/broker1/config/data/kafka/broker1/usr/ca/ssl
192.168.1.190939096/home/kafka-cluster/broker2/home/kafka-cluster/broker2/config/data/kafka/broker2/usr/ca/ssl2
192.168.1.190949097/home/kafka-cluster/broker3/home/kafka-cluster/broker3/config/data/kafka/broker3/usr/ca/ssl3

如果是在多台服务器上配置，可以直接配置好一台，复制server.properties或者整个kafka到其他服务器，这样可以减少很多重复性工作。只需要保证把证书生成到相同的路径下，就不用做重复其他工作了。

准备证书

证书生成可以参考上一篇单机Kafka配置ssl并在springboot使用
生成的各节点证书如下：
在这里插入图片描述

创建相关文件夹

Kafka及配置文件位置：
在这里插入图片描述
各节点数据位置：
在这里插入图片描述

配置文件

broker1配置文件：

#SSL配置部分
listeners=SSL://:9092
#下面的localhost需要改成ip，否则只有自己能连上
advertised.listeners=SSL://localhost:9092
security.inter.broker.protocol=SSL
ssl.endpoint.identification.algorithm=
ssl.keystore.location=/usr/ca/ssl/keystore.jks
ssl.keystore.password=123456
ssl.key.password=123456
ssl.truststore.location=/usr/ca/ssl/truststore.jks
ssl.truststore.password=123456
#这里配置成双向认证
ssl.client.auth=required
# 不验证客户端证书
#ssl.client.auth=none

# 在集群中的编号，只要保持唯一就行，
broker.id=1

#Kraft模式的集群关键配置就是这一句，每个节点多配置了一个controller端口
controller.quorum.voters=1@kafka1:9095,2@kafka1:9096,3@kafka1:9097

log.dirs=/data/kafka/broker1
#后面的配置都是默认的，可以不用管
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1 
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#虽然Kraft模式的集群不需要zookeeper，但是这个配置是必须要有的，否则会报错
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

broker2配置文件:

listeners=SSL://:9093
#下面的localhost需要改成ip，否则只有自己能连上
advertised.listeners=SSL://localhost:9093
security.inter.broker.protocol=SSL
ssl.endpoint.identification.algorithm=
ssl.keystore.location=/usr/ca/ssl2/keystore.jks
ssl.keystore.password=123456
ssl.key.password=123456
ssl.truststore.location=/usr/ca/ssl/truststore.jks
ssl.truststore.password=123456
#这里配置成双向认证
ssl.client.auth=required
# 不验证客户端证书
#ssl.client.auth=none  

broker.id=2

controller.quorum.voters=1@kafka1:9095,2@kafka1:9096,3@kafka1:9097
log.dirs=/data/kafka/broker2

#后面的配置都是默认的，可以不用管
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

broker3配置文件：

listeners=SSL://:9094
#下面的localhost需要改成ip，否则只有自己能连上
advertised.listeners=SSL://localhost:9094
security.inter.broker.protocol=SSL
ssl.endpoint.identification.algorithm=
ssl.keystore.location=/usr/ca/ssl3/keystore.jks
ssl.keystore.password=123456
ssl.key.password=123456
ssl.truststore.location=/usr/ca/ssl/truststore.jks
ssl.truststore.password=123456
#这里配置成双向认证
ssl.client.auth=required
# 不验证客户端证书
#ssl.client.auth=none 

broker.id=3

controller.quorum.voters=1@kafka1:9095,2@kafka1:9096,3@kafka1:9097
log.dirs=/data/kafka/broker3

#后面的配置都是默认的，可以不用管
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

集群关键配置：

broker.id=3
controller.quorum.voters=1@kafka1:9095,2@kafka1:9096,3@kafka1:9097

其他的配置项单机也要配置，集群只是保证broker id的唯一性且增加controller配置，controller配置中的kafka1为对应服务器hosts的主机名。

启动各Kafka节点

cd到对应Kafka路径下（比如broker1就cd /home/kafka-cluster/broker1）执行以下命令或者使用绝对路径执行，

./bin/kafka-server-start.sh   -daemon  config/server.properties

故障转移测试

故障前的集群状态：
在这里插入图片描述
原leader故障后从broker1转到broker2
在这里插入图片描述
恢复原来的leader节点之后，会自动切回去
在这里插入图片描述

spring boot集成

其他配置跟单机Kafka配置ssl并在springboot使用是一样的，只需要把bootstrap-servers改成多个节点的情况就行，其中kafka是项目服务器hosts配置的主机名

bootstrap-servers: kafka:9092,kafka:9093,kafka:9094
LFloyue
关注
【技海登峰】Kafka漫谈系列（四）基于Kraft模式实现Kafka集群部署与配置
这里是阿安的博客
03-04 313
【技海登峰】Kafka漫谈系列（四）基于Kraft模式实现Kafka集群部署与配置：本文主要介绍了Zookeeper模式与Kraft模式的区别与特点，并详细说明了如何基于Kraft模式搭建及配置Kafka集群环境，最后列举了一些常用的Kafka脚本命令及实践。
【kafka】Kafka-Kraft 集群模式
九师兄
01-04 208
左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。这样做的好处有以下几个：Kafka 不再依赖外部框架，而是能够独立运行；
kafka集群之kraft模式
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
08-28 5485
Kafka作为一种高吞吐量的分布式发布订阅消息系统，在消息应用中广泛使用，在Kafka2.8之前，Kafka强依赖zookeeper，这也导致当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。最新的3.5版本中，Kafka依然兼容zookeeper Controller，但Kafka Raft元数据模式，已经可以在不依赖zookeeper的情况下独立启动Kafka了。3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
Kafka-Kraft模式
互联网知识分享
08-14 749
引入了新的存储格式，将消息的元数据和实际数据进行隔离存储，这样可以更高效地处理大型日志。使用一种新的集群成员管理机制，可以更好地适应节点的加入和退出，从而实现集群的动态扩缩容。的存储格式也有一些不足，例如在处理大型日志时可能会导致性能下降。使用基于日志的复制机制，将消息以日志的方式写入磁盘，从而实现高可靠性和持久性。采用增量式副本重建机制，可以更快地将副本恢复到最新状态，从而提高可用性。的一个新的存储格式和复制协议，用于实现高可用性和数据安全性。的一种新的存储格式和复制协议，用于提供更可靠和可维护的。
Kafka 集群安装（基于 kraft）
最新发布
学习笔记！
04-15 408
Kafka 集群安装（基于 kraft）
Kafka中的KRaft算法
LUCIAZZZ的博客
02-08 1555
从Kafka依赖于Zookeeper扩展到KRaft模式并对比，延伸到KRaft模式的细节同时再说一下KRaft模式和Raft模式的区别
kafka 集群 KRaft 模式搭建
悟世君子的博客
11-25 4028
Apache Kafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka 在2.8版本之后，移除了对Zookeeper的依赖，将依赖于ZooKeeper的控制器改造成了基于Kafka Raft的Quorm控制器，因此可以在不使用ZooKeeper的情况下实现集群本文讲解 Kafka KRaft 模式集群搭建笔者使用3台服务器，它们的 ip 分别是 192.168.3.232、192.168.2.90、192.168.2.11。
Kafka 集群 KRaft 模式搭建
小毕超博客
06-02 2004
Kafka的KRaft模式是一种新的元数据管理方式，旨在去除对ZooKeeper的依赖，使Kafka成为一个完全自包含的系统。在Kafka的传统模式下，元数据管理依赖于ZooKeeper，这增加了部署和运维的复杂性。为了解决这个问题，Kafka社区引入了KRaft模式。在KRaft模式下，所有的元数据，包括主题、分区信息、副本位置等，都被存储在Kafka集群内部的特殊日志中。这个日志使用Raft协议来保证一致性。
Kafka + Kraft 集群搭建教程，附详细配置及自动化安装脚本
新质程序猿
08-07 2336
本文主要介绍 kafka + kraft 搭建过程，主要用途是为了日志采集，所以搭建相对比较简单暴力，不过也可以作为一个参考供大家学习，主打一个能用管跑（调优啊，参数解释啊，原理啊，太枯燥了，你自己搜吧）。我们的日志采集架构比较传统，基于 filebeat -> kafka -> logstash -> local file -> nfs. 没有引入 ES 之类的流行的玩法，因为成本有限，人手有限，精力有限，哈哈，我是不会告诉你是因为研发习惯了 grep 日志文件的，咱也没啥动力去改变人家的习惯哈。
Linux-Kafka 3.7.0 Kraft+SASL认证模式 集群安装与部署超详细
qq_41118173的博客
07-04 4640
这个是3.2.0版本新引入的认证方式，可以参考 https://cwiki.apache.org/confluence/display/KAFKA/KIP-801%3A+Implement+an+Authorizer+that+stores+metadata+in+__cluster_metadata。5.修改kafka-console-producer.sh和kafka-console-consumer.sh启动文件两个都要改。# 如果未设置，则使用"listeners"的值.
Kylin Server V10 下基于Kraft模式搭建Kafka集群
禅与代码的艺术
12-03 960
介绍了 Kafka 下Kraft模式集群与 ZooKeeper 模式集群的区别，以及在Kylin Server V10下如何搭建基于 Kraft 模式的 Kafka 集群。
【kafka】-入门篇
机智的路易
07-04 785
kafka3移出ZK理想情况下，Consumer实例的数==该 Group 订阅Topic的分区总数。 位移 消费者在消费的过程中需要记录自己消费了多少数据（位移） 组成员数发生变更。比如有新的 Consumer 实例加入组或者离开组，抑或是有 Consumer 实例崩溃被“踢出”组。 订阅主题数发生变更。Consumer Group 可以使用正则表达式的方式订阅主题，比如 consumer.subscribe(Pattern.compile(“t.*c”)) 就表明该 Group 订阅所有以字母 t 开
Kafka入门， Kafka-Kraft 模式 部署（二十六）
weixin_43205308的博客
07-10 1398
Kafka入门， Kafka-Kraft 模式 部署（二十六）
kafka+Kraft模式集群+安全认证
鸢尾_的博客
08-30 3195
kafka+Kraft模式集群+安全认证
kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式
卷心菜投手
08-17 4755
6、删除 topic,该操作在winodw，会出现文件授权问题，日志可以在kafka的启动命令窗口中查看，只需要修改文件权限即可，3、把主题中所有的数据都读取出来（包括历史数据），可以看到我们获取到了从消费者没有上线之前到上线之后的所有数据，一共6条。如果是linux，不使用window下的命令即可，使用对应的 xxxx.sh 即可。2、发送消息，这里发送了2次的数据，第一次是hello，第二次是world。1、解压刚刚下载的配置文件，解压后如下，其中。2、修改配置：进入到config目录，
Kafka 深度解析：高性能设计、部署模式、容灾机制与 KRaft 新模式
weixin_44876263的博客
03-31 1009
Kafka 是一款分布式流处理平台，凭借其高吞吐量、低延迟和强大的数据可靠性，广泛应用于日志收集、数据管道、事件驱动架构等场景。本文将深入剖析 Kafka 的核心设计，包括高性能设计解析、不同的部署模式、容灾机制以及 ZooKeeper 与 KRaft 的演进。优化方式实现方式性能提升点顺序写磁盘与日志结构存储分区 + Segment 文件提升写入速度零拷贝技术使用sendfile()系统调用降低 CPU 消耗批量发送与压缩批量打包 + 数据压缩提高数据吞吐量分区机制与并行处理。
Kafka——两种集群搭建详解 k8s
码农崛起
01-13 1711
1、简介Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。
kafka_2.12-3.8.0 集群安装，并设置SASL认证
look_miao的博客
12-11 307
新版的kafka可以不依赖zookeeper，使用KRaft 模式。openjdk-11-jdk 已安装。Zookeeper 已安装。本文使用ubuntu22。将安装包上传到服务器。然后顺序执行如下代码。
kafka kraft配置
02-28
### 如何配置Kafka KRaft模式 #### 准备工作 为了确保Kafka KRaft模式能够顺利运行，在开始之前需要完成一些准备工作。这包括但不限于安装Java环境以及下载对应版本的Apache Kafka软件包[^1]。 #### 创建并初始化元数据日志文件夹 对于每一个计划部署Kafka服务实例的机器而言，都需要创建专门用来保存该节点上产生的元数据的日志文件夹。此操作可以通过命令行工具来实现，具体路径可以根据实际情况设定。例如： ```bash mkdir -p /path/to/kraft/data/logs ``` #### 编辑`server.properties`配置文件 针对每台服务器上的`server.properties`文件作出相应调整以适应KRaft模式的要求。关键参数如下所示： - `process.roles=broker,controller`: 表明当前节点既扮演Broker角色也承担Controller职责； - `node.id=<unique_id>`: 设置唯一的节点ID； - `listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL`; - `listeners=PLAINTEXT://your.host.name:9092`: 定义监听地址及端口； - `advertised.listeners=PLAINTEXT://your.external.host.name:9092`: 对外发布的监听信息； - `controller.quorum.voters=<comma_separated_list_of_controller_nodes>`: 指定参与投票选举控制器成员列表； 以上设置均需依据实际场景灵活修改[^3]。 #### 初始化集群状态 利用Kafka自带脚本对新加入的节点执行初始化过程，从而让其知晓整个集群的状态和其他成员的信息。可以采用如下方式来进行初始化： ```bash bin/kafka-storage.sh format -t <cluster.unique.id> --ignore-formatted ``` 这里需要注意的是，`<cluster.unique.id>`应该是一个全局范围内独一无二字符串，用于标识这个特定的Kafka集群[^4]。 #### 启动Kafka服务 一旦上述步骤全部完成后，则可以在各个节点分别启动对应的Kafka进程。如果一切正常的话，最终应当可以看到所有预期中的Broker均已成功上线，并形成一个完整的分布式系统。 #### 使用Docker Compose简化部署流程 除了手动逐个配置各节点之外，还可以借助于Docker Compose这样的容器编排工具进一步降低复杂度。这种方式允许用户在一个单独的YAML定义文档里描述多个相互关联的服务组件及其依赖关系，进而达到一键式快速搭建的目的。 ```yaml version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" broker1: ... broker2: ... networks: default: driver: bridge volumes: zk-data: kraft-broker1-data: kraft-broker2-data: ``` 请注意，具体的`docker-compose.yml`内容会根据个人需求有所不同，因此建议参照官方文档或其他可靠资源获取最准确模板。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值