KafkaConsumer is not safe for multi-threaded access

1 篇文章 0 订阅

情景重现
线程A,创建kafka消费者对象,对数据进行消费等操作
线程B 停止 kafka消费者对象

解决如下

public class KafkaAsyncForward implements Runnable {
    private static final AtomicBoolean RUNNING = new AtomicBoolean(true);

    private final List<String> topicList;
    private final KafkaConsumer<String, String> kafkaConsumer;

    public KafkaAsyncForward(Map<String, Object> consumerParams, List<String> topicList) {
        this.kafkaConsumer = new KafkaConsumer<>(consumerParams);
        this.topicList = topicList;
    }

    @Override
    public void run() {
        try {
            kafkaConsumer.subscribe(topicList);
            while (RUNNING.get()) {
                ConsumerRecords<String, String> records = kafkaConsumer.poll(Duration.ofSeconds(5));
                for (ConsumerRecord<String, String> record : records) {
                    String topic = record.topic();
                    String data = record.value();
                    // ...
                }
            }
        } finally {
            if (kafkaConsumer != null) {
                kafkaConsumer.close();
            }
        }
    }

    public KafkaConsumer<String, String> getKafkaConsumer() {
        return kafkaConsumer;
    }

    public void stop() {
        try {
            RUNNING.set(false);
        } catch (Exception e) {
            log.error("关闭异常", e);
        }
    }
}

// 错误方式
public class ErrorTest {
    public static void main(String[] args) {
        KafkaAsyncForward kafkaAsyncForward=new KafkaAsyncForward(null,null);
        new Thread(kafkaAsyncForward).start(); // 线程A
        kafkaAsyncForward.getKafkaConsumer().close(); // 主线程 直接关闭kafka
    }
}

// 正确方式
public class TrueTest {
    public static void main(String[] args) {
        KafkaAsyncForward kafkaAsyncForward=new KafkaAsyncForward(null,null);
        new Thread(kafkaAsyncForward).start();  // 线程A
        kafkaAsyncForward.stop();  // 主线程,结束消费的循环,让 线程A 自己执行finally语句关闭kafka
    }
}


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值