spring kafka Consumer再均衡处理

Consumer再均衡场景

我们在使用kafka时难免会出现对kafka分区的调整或者消费组的增减(当然如果能尽量避免这类场景更好)，在以上场景下会使kafka consumer出现在均衡情况，这样会造成消息丢失或者消息重复，下面说明下如何处理这种情况，直接上代码！

代码如下

    /**
     * @Name : 消费者再均衡处理
     * @Description : 新增消费者或移除消费者后需要从新更新消费者分区
     */
    public class SaveOffsetsOnRebalance implements ConsumerRebalanceListener {
        private KafkaConsumer consumer;

        @Override
        public void onPartitionsRevoked(Collection<org.apache.kafka.common.TopicPartition> collection) {
            // 虚构方法 --- 将记录和偏移量保存到数据库
            commitDBTransaction();
        }

        @Override
        public void onPartitionsAssigned(Collection<org.apache.kafka.common.TopicPartition> collection) {

            for(org.apache.kafka.common.TopicPartition partition : collection){
                // 从数据库中读取偏移量seek到consumer中
                consumer.seek(partition,getOffsetFormDB(partition));
                System.out.println("再均衡监听，从指定偏移量处开始消费，当前topic:{},分区：{}，消费开始位置：{}" + partition.topic() + partition.partition() + "0");
            }
        }
    }

通过上面代码可以看出我们实现了ConsumerRebalanceListener消费组均衡监听类；在这个类里面有两个重写方法onPartitionsRevoked() 和 onPartitionsAssigned() ；
public void onPartitionsRevoked(Collection<org.apache.kafka.common.TopicPartition> collection) 方法在再均衡开始之前和消费组停止读取消息之后被调用。
public void onPartitionsAssigned(Collection<org.apache.kafka.common.TopicPartition> collection) 方法在重新分配分区之后和消费者开始读取消息之前被调用。

这里在消费组停止前将记录和偏移量存到db中，然后在分配分区之后调用seek() 方法将存入库中的偏移量设置进去！这样可以防止消费者发生在均衡时造成的消息丢失或者消息重复！