kafka反序列化错误处理

最新推荐文章于 2024-08-30 14:30:01 发布

SongJingzhou

最新推荐文章于 2024-08-30 14:30:01 发布

阅读量430

点赞数

分类专栏： kafka 文章标签： kafka 分布式

本文链接：https://blog.csdn.net/SongJingzhou/article/details/133345414

版权

kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文介绍如何在处理SpringKafka的ConcurrentKafkaListenerContainerFactory中，当遇到序列化失败时自动定位错误、跳过记录并更新消费者偏移量，以避免日志满磁盘问题。

摘要由CSDN通过智能技术生成

当消费者发生反序列化失败时会导致消费者偏移量不会向后移动，而且海量的错误日志会将磁盘写满，因此需要针对此类错误进行手动处理

    ConcurrentKafkaListenerContainerFactory<String, MyObject> factory =
            new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory);

        factory.setCommonErrorHandler(new CommonErrorHandler(){
            @Override
            public void handleOtherException(Exception thrownException, Consumer<?, ?> consumer, MessageListenerContainer container, boolean batchListener) {
                String s = thrownException.getMessage().split("Error deserializing key/value for partition ")[1].split(". If needed, please seek past the record to continue consumption.")[0];
                String topics = s.split("-")[0];
                int offset = Integer.parseInt(s.split("offset ")[1]);
                int partition = Integer.parseInt(s.split("-")[1].split(" at")[0]);

                TopicPartition topicPartition = new TopicPartition(topics, partition);
                consumer.seek(topicPartition, offset + 1);
                consumer.commitAsync();
                LOG.error("Skipping " + topics + "-" + partition + " offset " + offset);
            }
        });