Kafka 2.8.0不再依赖Zookeeper新特性

最新推荐文章于 2024-08-17 19:52:53 发布
最新推荐文章于 2024-08-17 19:52:53 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： Kafka 文章标签： zookeeper kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a24b86/article/details/116054876
版权
Kafka 2.8.0发布，引入了KRaft模式，替代Zookeeper管理元数据。此模式简化了部署，无需额外维护ZooKeeper集群。虽然新版本仍存在一些不足，不适合立即用于生产环境，但这是一个值得关注的里程碑式更新。
摘要由CSDN通过智能技术生成

目录

1  新特性

2  快速开始

3  优缺点

1  新特性

    2021年4月19日，Kafka官方发布了2.8.0版本，包含了很多新特性：

    其中，我觉得最感兴趣的是提到的第一条特性：Kafka用自管理的Quorum代替ZooKeeper管理元数据。

2  快速开始

    我们可以根据官方文档快速测试看看。

最低0.47元/天 解锁文章
gaosuam
关注
专栏目录
【kafka专栏】kafka3.0版本不再需要zookeeper，替代方案是什么？
字母哥博客
05-13 7669
在2.8版本之前，kafka都是强依赖zookeeper这个分布式服务协调管理工具的。在kafka2.8版本开始尝试从服务架构中去掉zookeeper，到了3.0版本这个工作基本上完成，这是kafka的一个非常重要的里程碑。 如果想要理解kafka3.0的新架构设计，实际上我们还是有必要理解kafka2.x版本中中zookeeper的作用是什么？为什么要在3.0版本中去掉？使用什么技术代替了kafka？
Kafka2.8.0 不再需要 ZooKeeper
u012632105的博客
07-19 1064
Kafka 不再需要 ZooKeeper
Kafka 2.8与ZooKeeper正式分手
wh柒八九的博客
09-01 425
本文来说下Kafka 2.8与ZooKeeper正式分手 文章目录概述 概述
Kafka集群搭建的两种方式
最新发布
dxh9231028的博客
08-17 1536
在2.8.0版本以前，Kafka集群的搭建依赖于Zookeeper环境，需要将kafka集群节点ip及主题等Kafka相关的元数据存入Zookeeper服务中。所以搭建Kafka集群前，需要先搭建Zookeeper集群。zookeeper多主机集群搭建。
Kafka2.8 去除 Zookeeper
杨宇昌的博客
04-28 1924
Kafka在2.8版本中正式去除Zookeeper，拥抱Raft
即将发布的 Apache Kafka 2.8 将不需要依赖 Zookeeper，单集群支持数百万个分区
过往记忆大数据
04-11 1383
Apache Kafka 的核心设计是日志（Log）—— 一个简单的数据结构，使用顺序操作。以日志为中心的设计带来了高效的磁盘缓冲和 CPU 缓存使用、预取、零拷贝数据传输和许多其他好处，...
kafka的kraft模式
健康平安的活着的专栏
04-11 3551
一 Kafka-Kraft 架构 左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由 controller 进行 Kafka 集群管理。 右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群， 而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进 行 Kafka 集群管理 这样做的好处有以下几个： ⚫ Kafk
Kafka 不再需要 ZooKeeper
05-06 4283
Kafka 2.8.0 出炉了，此版本有一项重大改进： 实现了 Raft 分布式一致性机制，意味着可以脱离 ZooKeeper 独立运行了。 ZooKeeper 在 Kafka 中扮演着重要的角色，用来存储 Kafka 的元数据。 ZooKeeper 存储着 Partition 和 Broker 的元数据 ，同时也负责 Kafka Controller 的选举工作。 对于 Kafka 来讲，ZooKeeper 是一套外部系统，要想部署一套 Kafka 集群，就要同时部署、管理、监控 ZooKeeper.
Kafka 2.8.0新特性 （kafka之后不在需要zookeeper）
chbxw
07-14 507
以下是Kafka 2.8.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档 有关升级的注意事项：在升级你的集群之前，请仔细阅读此版本的升级文档。升级有关不兼容性和破坏性的变更，性能变化以及可能影响Kakfa生产的任何其他变化。 Kafka 2.8.0包括许多重要的新功能。以下是重要变化的总结。 抢先体验，kafka通过自我管理的仲裁来替代ZooKeeper（很快，Apache Kafka将不再需要ZooKeeper。） 增加集群描述API 在SA
Kafka 2.8.0 正式发布，增加了哪些新特性？
码农架构
05-02 3710
导读：目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。 2021年4月19日，Kafka官方发布了2.8.0版本，包含了很多新特性！其中，我觉得最感兴趣的是提到的第一条特性-Kafka用自管理的Quorum代替ZooKeeper管理元数据。 之前Kafka使用ZooKeeper来存储有关分区和代理的元数.
kafka-2.13-2.8.0
02-14
二、Kafka 2.8.0新特性 1. **Kafka Streams升级**：Kafka 2.8.0引入了Kafka Streams的新版本，增强了流处理能力，提供更丰富的API和更好的性能。 2. **Kafka Connect改进**：Kafka Connect允许无缝地连接到外部...
Kafka 2.8.0发布，与ZooKeeper正式分手！
程序猿DD
04-30 1236
平时关注 Kafka 的小伙伴要注意了，2021年4月19日，Kafka 2.8.0正式发布！这次升级包括了很多重要的改动，其中最引人瞩目的就是kafka通过自我管理的仲裁来替代ZooKe...
Kafka 2.8.0 JAVA API基本使用
weixin_46937640的博客
08-14 1167
Kafka 2.8.0 JAVA API基本使用 以下测试皆在windows下进行，请根据自己情况酌情配置kafka zookeeper等环境 本人使用的是jdk11，代码中可能存在jdk9的新特性，使用jdk9以前的jdk的朋友请自行转换 kafka环境变量等暂时略过 1.java导入依赖 <!--导入kafka依赖--> <!-- https://mvnrepository.com/artifact/org.apache.kafka/ka...
【框架学习（4）-- Kafka3.2.1命令及不使用Zookeeper启动】
eee3331的博客
11-25 2699
框架学习四：如何不使用zookeeper启动kafka
帅呆了！Kafka移除了Zookeeper！
大叶子不小的博客
09-15 3605
普天同庆!最新版的Kafka 2.8.0，移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理。很好很好，终于有点质的改变了。一听到KRaft，我们就想到了Raft协议。Raft协议是当今最流行的分布式协调算法，Etcd、Consul等系统的基础，就来自于此。现在Kafka也有了。由于这个功能太新了，所以2.8.0版本默认还是要用ZooKeeper的，但并不妨碍我们尝尝鲜。另外，不要太激动了，据官方声称有些功能还不是太完善，所以不要把它用在线上。
kafka集群安装（zookeeper未使用kafka自带的）
北尘
03-26 1997
准备环境 centOS7 zookeeper JDK8 安装可参考： JDK8安装：https://blog.csdn.net/qq_21299835/article/details/79333532 zookeeper集群安装：http://blog.csdn.net/qq_21299835/article/details/79444929 1.创建kafka目录并下载kafka...
kafka为什么抛弃zookeeper
justlpf的专栏
10-11 2246
如果 ZooKeeper 集群的某个节点的数据发生变更，则会通知其它 ZooKeeper 节点同时执行更新，就得等着大家（超过半数）都写完了才行，这写入的性能就比较差了。当 Controller 变更的时候，需要重新加载所有的元数据到新的 Controller 身上，并且需要把这些元数据同步给集群内的所有 Broker。特别适合存储一些公共的配置信息、集群的一些元数据等等。存储系统了吧，一般而言，ZooKeeper 只适用于存储一些简单的配置或者是集群的元数据，不是真正意义上的存储系统。
CentOS7安装kafka3.3.1集群----(不使用zookeeper)
justlpf的专栏
10-11 3663
参考: 【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。 上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)在搭建kafka3.0集群之前，我们需要先做好kafka实例角色规划。（四个broker，需要通过主动配置指定三个作为Controller，Controller需要奇数个，这一点和zk是一样的
Kafka 2.8.0无Zookeeper部署教程：从零搭建KRaft模式
本文档详细介绍了如何在Kafka 2.8.0版本中启用Kafka-Kraft模式部署，无需Zookeeper的支持。Kafka-Kraft是Apache Kafka 2.8及更高版本引入的一种新的分布式一致性协议，它可以在没有Zookeeper的情况下提供高可用性和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值