KafkaProducer是线程安全的,可以多线程共用一个实例,而KafkaConsumer是非线程安全的,这点我对比了下KafkaProducer和KafkaConsumer中的成员变量。KafkaConsumer非线程安全的原因应该在于下面这个成员变量:
private boolean cachedSubscriptionHashAllFetchPositions;
cachedSubscriptionHashAllFetchPositions在每回poll方法调用时都会去判断订阅分区位移是否有效,有效为true,无效则在poll的指定时间内重置分区offset,这个参数多线程条件下修改是不安全的。
KafkaConsumer除了wakeUp()的其它公共方法调用时都会进行一次acquire()检测,类似于乐观锁的机制,判断是否被不同线程调用。acquire方法如下:
private void acquire() {
long threadId
本文介绍了KafkaConsumer的线程安全性,分析了其非线程安全的原因,探讨了多线程消息消费的三种方式:线程封闭、自定义消费流程和分离消息拉取与业务处理逻辑,其中,线程封闭最简单,分离处理易于扩展消费能力,自定义流程复杂。同时,提到了消费者端参数的重要性。
最低0.47元/天 解锁文章

2338

被折叠的 条评论
为什么被折叠?



