Apache Kafka 3.0 发布，离彻底去掉 ZooKeeper 更进一步

最新推荐文章于 2024-04-08 08:02:39 发布

qianshanding0708

最新推荐文章于 2024-04-08 08:02:39 发布

阅读量2k

点赞数

文章标签：大数据 java python 数据库 linux

原文链接：https://mp.weixin.qq.com/s?__biz=MzI4OTU3ODk3NQ==&mid=2247499134&idx=1&sn=00dc37ef0f5450422d04d06f7c6365f5&chksm=ec2fb7cedb583ed8d1726517f42542afe5b402b34bf98e9e764086e258aeab7cbb57ae01b878&scene=126&&sessionid=0

版权

更多内容关注微信公众号：fullstack888

Apache Kafka 3.0.0 正式发布，这是一个重要的版本更新，这次发布为 Kafka 彻底去掉ZooKeeper铺平了道路。

因此，在此背景下该版本中最突出的改进是 Kafka 的共识机制 KRaft 也就不足为奇了，该机制仍处于预览阶段。未来，KRaft 将作为 Apache Kafka 的内置共识机制将取代 Apache ZooKeeper，该版本目前提供了 KRaft 控制器和代理来为“名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照”，也就是说这是 Kafka 集群存储、复制元数据的地方。

为了顺利切换到 KRaft，Kafka 团队重新设计了该工具的元数据记录类型，并让 Kafka Controller 负责在 ZooKeeper 和 KRaft 模式下生成生产者 ID。同时，从 3.0 开始，Kafka 生产者默认开启幂等性和所有副本的交付确认。

除此之外，Kafka 团队还尝试调整了当前的用例，这些用例以前很难实现。例如，监控任务通常会产生一些开销，因为无法为多个消费者组获取偏移量。这在 3.0 版的 OffsetFetch API 中得到了纠正。同时对 AdminClient.listOffsets 的改进将帮助用户测试分区的活跃度；它现在提供了查询选项，以返回分区中时间戳和具有最大时间戳的记录的偏移量。

Kafka Streams 的 TaskMetadata 接口提供了三种新方法来检查 commitedOffsets、endOffsets 和 timeCurrentIdlingStarted，这也有助于跟踪系统的健康状况。值得注意的增强功能还可以在数据集成中心 Kafka Connect 中找到，在 3.0 中，KIP-745 使用户能够通过一次调用重新启动所有或仅失败的连接器 Connector 和 Task 实例。

由于这是一个主要版本，还有一些更改可能会导致旧代码无法正常工作。其中包括弃用 Streams 中宽限期的 24 小时默认值，并用明确的新方法替换它们，这些方法要求用户要么将所述时间段设置为零，要么接受宽限期持续时间的自定义值。

Kafka 团队也开始了一些清理工作，因此用户应该为即将到来的“警告”做好准备。3.0 版本中弃用对 Java 8 和 Scala 2.12 的支持，并且将在 v4.0 中完全删除。除此之外，维护者还决定弃用消息格式 v0 和 v1，将消息格式 v2 作为默认消息格式。之后只能通过转换实现 v0 和 v1 的数据向后兼容性，但这会影响性能，因此建议大家进行升级。

总结：