weixin_45493817的博客

![]https://cdn.jsdelivr.net/gh/clawhub/image/diffuser/top/19/11/27/e3b34c09eeaadd7d63a297deee7ca2a8.jpg()1、消费者与Partition以下来自《kafak权威指南》第4章。假设主题T1有四个分区。1.1、一个消费者组1.1.1、消费者数量小于分区数量只有一个消费者时，...

1、Offset TopicConsumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_offset”发送消息，如图：消息的内容包括：fields| content-|-Key ...

1、多副本数据同步策略为了保障Prosucer发送的消息能可靠的发送到指定的Topic，Topic的每个Partition收到消息后，要向Producer发送ACK,如果Produser收到ACK，就会进行下一轮发送，否则重试。1.1、多副本概述为了提高消息的可靠性，Kafka每个Topic的partition都有N个副本（replica）。这N个副本中，其中一个repli...

1、Kafka工作流程Kafka中的消息以Topic进行分类，生产者与消费者都是面向Topic处理数据。Topic是逻辑上的概念，而Partition是物理上的概念，每个Partition分为多个Segment,每个Segment对应两个文件，一个索引文件，一个日志文件。Producer生产的数据会被不断的追加到日志文件的末端，且每条数据都有自己的offset。消费组中的每个Con...

1、概述Kafka是一个分布式的、基于发布订阅的消息系统，主要解决应用解耦、异步消息、流量削峰等问题。2、发布订阅模型消息生产者将消息发布到Topic中，同时有多个消息消费者订阅该消息，消费者消费数据之后，并不会清除消息。属于一对多的模式，如图：3、系统架构网上找了个不错的架构图：上图中标识了一个kafka体系架构包括若干Producer、Broker、Co...