ITWUYI的博客

1、auto.offset.reset对于smallest和largest还是理解不到位，smallest和largest策略表示Zookeeper上的offset还没有初始化为正确值时，如何初始化offset的问题？试想，Producer生产了一批消息到Kafka中，但是Kafka尚未由任何Consumer读取，而Kafka的Offset是由Consumer进行初始化和赋值的，因此此时的Zookeeper上的offset并没有预期的0(0表示尚未读取过)，而是一个不正确的随机数，那么Consumer来

Kafka 为每个主题维护了分布式的分区(Partition)日志文件，每个 Partition 在 Kafka 存储层面是 Append Log。任何发布到此 Partition 的消息都会被追加到 Log 文件的尾部，在分区中的每条消息都会按照时间顺序分配到一个单调递增的顺序编号，也就是我们的 offset。offset 是一个 Long 型的数字。1、Kafka中，生产者如何把信息发送到Partition如果没有 Key 值则进行轮询发送。如果有 Key 值，对 Key 值进行 Hash，然后

kafka，在partition中如何通过offset查找message例如读取offset=368776的message，需要通过下面2个步骤查找。（1）查找segment file00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0。第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1。同样，第三个文件00000000000000737337.index的起始偏移量为737338=7

Kafka生产者分区器的规则详解1、介绍在开发中，由于Kafka配置的地方被他人改动过，所以有些数据出现了往固定分区集中的现象，所以这篇文章重点研究下Kafka生产者分区器的规则。2、原因我们通常开多线程、使用多个分区来提高Kafka的消费速度，分区不均匀会导致线程闲置，消费速度过慢，进而导致消息积压。消息写入哪个分区是由生产者决定的，在调用kafkaTemplate.send()方法时，可以指定分区，否则使用默认分区器DefaultPartitioner计算。因为分区可能会调整，通常我

Kafka 知识点（1）Kafka 概念Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用 Scala语言编写，目前是Apache的开源项目。1. broker：Kafka服务器，负责消息存储和转发。2. topic：消息类别，Kafka按照topic来分类消息。3. partition：topic 的分区，一个 topic 可以包含多个 partition，topic 消息保存在各个 partition上。4. offset：消息在日志中的位