Kafka
文章平均质量分 85
Kafka
死牛胖子
在技术的路上渐行渐远
展开
-
Kafka控制器Controller选举过程详解
Kafka 节点加入集群会进行以下两个操作注册 brokers,创建临时节点 /brokers/ids/{broker.id}注册 controller,创建临时节点 /controller第一步,通常会成功,如果失败,就说明 Kafka 集群中有两个节点的 broker.id 设置冲突了,修改 server.properties 配置文件中的 broker.id 配置。第二步,将当前节点注册为集群的控制器,/controller 节点是一个临时节点,如果该节点不存在,则创建成功,如果该节点已存原创 2022-03-01 16:05:10 · 2218 阅读 · 0 评论 -
Kafka数据存储结构
Kafka 的数据分为两部分:元数据、消息数据。元数据:元数据包括集群信息、节点信息、队列信息、主从信息、分区信息、分区分布信息等,这类信息都存储在 Zookeeper 上,Kafka 的任何一个节点都可以读取元数据信息。消息数据:生产者向集群发送的消息。生产者直接向分区的 Leader 发送消息,Leader 会同步至 Flowers 节点,分区的 Leader 及 Flowers 节点都存储了一份消息数据。 元数据结构clustercontrollercontroller_epochbroke原创 2022-02-09 15:17:32 · 3209 阅读 · 0 评论 -
Kafka架构体系
目录简述诞生优势使用场景CAP消息队列Kafka 相关概念Kafka 架构体系Partition 架构体系Replica 架构体系Consumer Group 架构体系参考简述Kafka 是由 Apache 软件基金会开发的一个开源的分布式流处理平台,由 Scala 和 Java 编写。主要分为两部分功能:发布订阅模式的消息队列:构造实时流数据管道,可以在系统或应用之间可靠地获取数据,一般用于系统间解耦、异步通信、削峰填谷等用途。Kafka Stream 实时在线流处理:构建实时流式应用程序,对原创 2022-01-15 11:53:28 · 1178 阅读 · 0 评论