消息队列
文章平均质量分 93
非科班大厂码农(同名公众号)
这个作者很懒,什么都没留下…
展开
-
图解Kafka | 彻底弄明白 Kafka消费者分区策略
PartitionAssignor并不复杂,只有四个主要方法。当启动一个Kafka消费者并订阅一个或多个主题时,Kafka消费者客户端会调用PartitionAssignor的subscription方法来创建订阅信息。然后,消费者组的leader(即组内的一个消费者)会接收到所有消费者的订阅信息,并通过 assign() 方法来执行分区分配。接下来,所有消费者将从leader那里接收他们的分配,并且每个消费者都会调用onAssignment()方法来处理分配的分区,通常用于更新内部状态。原创 2024-08-26 15:39:29 · 1038 阅读 · 0 评论 -
图解Kafka | 16张图讲透生产者交付语义
下表总结了所有交付语义的行为。原创 2024-08-26 15:35:22 · 1183 阅读 · 0 评论 -
图解Kafka | 5张图讲透Kafka 消费者交付语义
Kafka 消费者交付语义指的是 Kafka 消费者在处理消息时如何保证消息的可靠性和一致性。这涉及到消息是否被丢失、重复处理或者按顺序消费。当消费者组/消费者从 Kafka 消费数据时,仅支持最多一次和至少一次这两种语义。但是您可以通过选择适当的数据存储来实现类似于精确一次的交付语义,例如,任何键值存储、RDBMS(主键)、Elasticsearch或任何其他支持幂等写入的存储。原创 2024-08-25 17:37:49 · 736 阅读 · 0 评论 -
图解Kafka | 28张图彻底搞懂消费者
在下图中,消费者设置了自动提交,CONSUMER-1成功拉取到了PARTITION 0的消息0-4,消费偏移量已经自动提交了,但是在真正处理消息的时候,CONSUMER-1宕机了,经过重新平衡之后,组内的CONSUMER-2接管了PARTITION 0,将会从消息5开始拉取消息,这样消息0-4用于也没机会消费了。这个主题有两个分区(分区 0 和分区 1)。如果协调员在一段时间内未收到某个消费者的心跳信号,就会认为该消费者已失联,并启动重新平衡过程,以重新分配该消费者负责的分区给其他活跃的消费者。原创 2024-08-25 17:35:47 · 1550 阅读 · 0 评论 -
图解Kafka | 彻底弄明白 Kafka 两个最重要的配置
彻底弄明白 Kafka 两个最重要的配置原创 2024-08-13 20:48:01 · 1025 阅读 · 0 评论