![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 87
sqyaa.
已在谷底,怎么走都是向上
展开
-
Kafka第四篇——生产数据总体概括,源码解析分区策略,数据收集器,Sender发送线程,key值
流程图以及总体概述拦截器分区器以及分区计算策略为啥进行分区计算?producer生产者怎么知道有哪些分区?分区计算如何自定义实现分区器?想说的在图里啦!宝宝!💡如果key值忘记传递了呢!?数据校验数据收集器注意Sender发送线程原创 2024-07-07 14:31:32 · 1019 阅读 · 3 评论 -
Kafka——消费者偏移量存储问题
一旦偏移量信息发生变化,Zookeeper 将通知订阅了该 Watch 的消费者,使得消费者能够及时更新自己的状态。:Zookeeper 将数据存储在磁盘上,即使发生服务器崩溃或重启,存储的偏移量信息也不会丢失。follower进行读操作,这意味着,Zookeeper 都只会接受并传播来自 Leader 节点的更新,从而确保所有节点的数据视图是一致的。确保了在多个操作同时发生时,每个操作都按照确定的顺序被处理和应用,避免了并发更新导致的数据不一致性问题。Zookeeper 能。原创 2024-06-22 11:09:29 · 713 阅读 · 1 评论 -
kafka第二篇——主题创建,主题分区副本分配策略
主题包含一个或多个分区,每个分区在集群中有多个副本(Replica)分布在不同的 Broker 上。通过合理设计主题、分区和副本的布局,Kafka 可以实现高吞吐量、低延迟和可靠性的分布式消息传递系统。可以看文章kafka1中的架构推演发展历程标题下的内容。原创 2024-06-22 11:09:21 · 555 阅读 · 0 评论 -
Kafka第一篇——内部组件概念架构启动服务器zookeeper选举以及底层原理
引入 ——为什么分布式系统需要用第三方软件?JMS对比组件架构推演——备份实现安全可靠 ,Zookeepercontroller的选举controller和broker底层通信原理BROKER内部组件编辑topic创建原创 2024-06-21 17:34:01 · 1304 阅读 · 2 评论