MQ
文章平均质量分 90
NoRegrets2021
搞钱
展开
-
Kafka offset维护机制
Kafka offset的维护上一篇介绍过Kafka的生产者相关的机制,这一篇来介绍一下kafka消息的offset。由于 Consumer 在消费过程中可能会出现断电宕机等故障,Consumer 恢复后,需要从故障前的位置继续消费。所以 Consumer 需要实时记录自己消费到了哪个 Offset,以便故障恢复后继续消费。Kafka 0.9 版本之前,Consumer 默认将 Offset 保存在 Zookeeper 中,从 0.9 版本开始,Consumer 默认将 Offset 保存在 Kafk原创 2021-06-28 18:45:16 · 918 阅读 · 0 评论 -
Kafka生产者总结
Kafka架构1.producer: 消息生产者,发布消息到 kafka 集群的终端或服务。2.broker: kafka 集群中包含的服务器。3.topic: 每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。4.partition: partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。5.consumer: 从 kafka 集群中消费消息的终端或服务。6原创 2021-06-28 16:12:28 · 629 阅读 · 0 评论