kafka参数auto.offset.reset与消失丢失

auto.offset.reset 是 Apache Kafka 消费者的一个重要配置参数，用于定义在以下情况下消费者应如何处理已提交的偏移量（offset）：

当消费者加入一个消费组并且没有存储偏移量时，或者偏移量无效（例如，偏移量对应的消息已经被删除），auto.offset.reset 参数定义了消费者应该从何处开始消费消息。这是一个消费者组的重要配置，因为它决定了在消费者启动时或者无法找到有效偏移量时的行为。

以下是 auto.offset.reset 的可能取值：

1. earliest:

   • 如果消费者没有存储偏移量或者偏移量无效，它将从分区的最早可用消息开始消费。
   • 这意味着消费者会从分区的起始位置开始消费消息，包括先前已经被消费者消费过的消息。

   properties.put("auto.offset.reset", "earliest");
   

2. latest:

   • 如果消费者没有存储偏移量或者偏移量无效，它将从分区的最新可用消息开始消费。
   • 这意味着消费者只会消费自它启动之后产生的消息，而不会消费在它启动之前已经产生的消息。

   properties.put("auto.offset.reset", "latest");
   

3. none:

   • 如果消费者没有存储偏移量或者偏移量无效，且没有设置有效的默认偏移量，消费者将抛出异常。
   • 这个设置适用于那些不希望从旧偏移量开始消费的应用，而是希望显式设置每个分区的偏移量。

   properties.put("auto.offset.reset", "none");
   

选择正确的 auto.offset.reset 设置取决于应用程序的要求。如果要确保消费者从最早的消息开始消费，可以选择 “earliest”。如果只关心最新的消息，可以选择 “latest”。如果希望在没有有效偏移量时抛出异常，可以选择 “none”。

请注意，auto.offset.reset 是消费者的全局配置，因此它对于订阅的所有分区都具有相同的影响。

综上存在一种极端的情况可能会出现消息丢失：比如一个主题新增了一个分区，这个时候生产者往里面推了消息，然后消费者滞后地订阅到这个分区，如果设置成latest，那么之前的数据会消费不到。