Kafka 实战 - 指定分区和偏移量，时间消费

在 Apache Kafka 中，消费者可以通过指定分区和偏移量来精确控制消息消费的位置。此外，还可以基于时间戳来消费特定时间段内的消息。以下是如何在实战中实现这些功能的详细说明：

指定分区消费

1. 直接指定分区：

   • 使用 KafkaConsumer.assign() 方法，传入一个包含指定分区的 TopicPartition 对象列表，即可让消费者直接从指定分区开始消费。例如：

   List<TopicPartition> partitions = Arrays.asList(new TopicPartition("my_topic", 0), new TopicPartition("my_topic", 1));
   consumer.assign(partitions);
   

   这样，消费者只会从 my_topic 的第 0 和第 1 分区消费消息。

2. 使用消费者组：

   • 如果希望在消费者组内控制分区分配，可以使用 partition.assignment.strategy 配置项指定自定义的分区分配策略。在策略实现中，可以依据业务需求动态决定消费者应获得哪些分区。

指定偏移量消费

1. 手动指定偏移量：

   • 使用 KafkaConsumer.seek() 方法，传入一个 TopicPartition 对象和对应的偏移量，可以将消费者指针移动到该偏移位置开始消费。例如：

   TopicPartition tp = new TopicPartition("my_topic", 0);
   consumer.seek(tp, 100); // 从第 0 分区的第 100 条消息开始消费
   

2. 从最新消息开始消费：

   • 若要从每个分区的最新消息（即尾部）开始消费，可以先调用 consumer.subscribe() 加入主题，然后调用 consumer.poll(Duration.ZERO) 或 consumer.poll(0)，这将立即返回当前所有分区的最新消息。

3. 从最早消息开始消费：

   • 若要从每个分区的最老消息（即头部）开始消费，可以在创建消费者时设置 auto.offset.reset 参数为 "earliest"。这样，当消费者第一次订阅主题或找不到有效的已提交偏移量时，会自动从每个分区的起始位置开始消费。

基于时间消费

Kafka 提供了基于时间戳消费消息的功能，可以按照消息的生产时间戳来筛选消息：

1. 按照时间戳范围消费：

   • 使用 KafkaConsumer.offsetsForTimes() 方法，传入一个映射表，其中键是 TopicPartition，值是想要消费的起始时间戳。此方法返回每个分区对应的时间戳所对应的偏移量。然后使用 seek() 方法将消费者指针移动到这些偏移量处开始消费。

   Map<TopicPartition, Long> timestampsToSearch = new HashMap<>();
   timestampsToSearch.put(new TopicPartition("my_topic", 0), 1600000000L); // Unix timestamp in milliseconds
   
   Map<TopicPartition, OffsetAndTimestamp> offsetsByTimestamp = consumer.offsetsForTimes(timestampsToSearch);
   for (Map.Entry<TopicPartition, OffsetAndTimestamp> entry : offsetsByTimestamp.entrySet()) {
       if (entry.getValue() != null) {
           consumer.seek(entry.getKey(), entry.getValue().offset());
       } else {
           // 没有找到对应时间戳的消息，可能需要调整时间戳或使用其他策略
       }
   }
   

   注意，这种方法要求 Kafka 集群启用并配置了时间戳索引，且消息带有正确的时间戳（如通过 LogAppendTime 或 CreateTime 设置）。

2. 按照固定时间窗口消费：

   • 若想定期消费固定时间窗口内的新消息，可以在每次 poll() 时检查消息的时间戳，只处理在窗口范围内的消息。这需要在业务逻辑中实现，并结合合适的 poll() 调用间隔。

总结来说，通过上述方法，Kafka 消费者可以在实战中灵活指定分区、偏移量或基于时间戳进行消息消费，以满足各种复杂的应用场景需求。在实际操作时，需要根据业务特点、数据一致性要求以及 Kafka 集群配置进行合理选择和调整。