Kafka实战经验 - Kafka Consumer自定义offset管理

最新推荐文章于 2024-08-03 21:47:45 发布

jlaky

最新推荐文章于 2024-08-03 21:47:45 发布

阅读量9.3k

点赞数

分类专栏： Kafka

本文链接：https://blog.csdn.net/jlaky/article/details/55666906

版权

本文分享了在特定场景下如何使用Kafka的ConsumerRebalanceListener进行手动offset管理，以确保数据在处理完成后才提交，保证partition数据的完整处理。通过subscribe方法订阅主题，并在消费消息时记录topic分区，最后执行手动commit。

摘要由CSDN通过智能技术生成

在项目中，大部分情况下，使用Kafka自动管理offset能够满足需求，但是在某些情况下需要使用手动管理Kafka offset，比如必须要求数据处理完成以后才能commit，确保partition的数据被处理完。因此可以使用kafka的ConsumerRebalanceListener进行处理:

1） Subscribe

consumer.subscribe(topics,

new ConsumerRebalanceListener() {

           @Override
           public void onPartitionsRevoked(Collection<TopicPartition> topicPartitions) {
           }

           @Override
           public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                    try {
                           for (TopicPartition partition : partitions) {
                               PartitionOffset offset = getCustomPartitionOffset(partition);
                               if (offset != null && offset.getOffset() >= 0) {