kafka
cluse_ld
这个作者很懒,什么都没留下…
展开
-
Kafka生产经验
Kafka生产经验原创 2022-08-13 17:28:15 · 2791 阅读 · 0 评论 -
Kafka生产者发送消息的分区策略
Kafka生产者发送消息的分区策略原创 2022-08-13 15:35:18 · 303 阅读 · 0 评论 -
Kafka生产者消息发送流程
Kafka生产者消息发送流程原创 2022-08-13 11:59:18 · 533 阅读 · 0 评论 -
Kafka的数据可靠与数据重复
kafka数据重复及数据可靠性问题原创 2022-08-10 16:26:48 · 586 阅读 · 1 评论 -
Kafka如何保证消息顺序?
首先kafka只保证partition内的消息是顺序的,并不保证topic维度是顺序的。我们的分区文件是追加写入的,那么对于一个分区而言,它保证消息顺序的特性是天然自带的。但是 Topic 是一个逻辑概念,是由多个分区文件组成的,因此想要做到 Topic 维度的数据顺序,代价是非常大的,所以 kafka 并不保证 Topic 维度的消息顺序。由于Kafka的一个Topic可以分为多个Partition,Partition中的数据是有序的,但是从多个Partition中读出来后的数据会变成无序的。...原创 2022-08-07 15:23:53 · 3735 阅读 · 0 评论 -
Kafka副本Leader选举流程
假设broker1中leader挂了,Controller监测到节点变化,向zk请求isr,选举新的leader(isr存活,ar排在前面的优先),然后controller更新zk中存储的leader和isr信息。Controller:决定leader选举。每个broker中都有一个Controller模块,他们都会去抢占注册ZK中的controller,只有抢到ZK资源的那个controller才能决定选举。例如:ar[1,0,2],isr[1,0,2],那么leader就会按照1,0,2的顺序轮询。..原创 2022-08-06 11:44:15 · 617 阅读 · 0 评论 -
Kafka数据存储设计
其中offset表示Message在这个partition中的偏移量,不是指实际存储位置,而是逻辑上的一个值,唯一的确定了partition中的一条message,可以认为是partition中message的id;Kafka为每个分段后的数据文件建立了索引文件,文件名与segment文件的名称是一样的只是扩展名为.index。index文件中并没有为数据文件中的每条Message建立索引,而是采用稀疏存储,每隔一定字节建立一条索引。这样在查找指定的offset的Message时,用二分查找即可。...原创 2022-08-05 16:20:27 · 153 阅读 · 2 评论 -
Kafka基础架构
Kafka是 一个开源的 分 布式事件流平台 (Event StreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。原创 2022-08-05 11:53:47 · 157 阅读 · 3 评论