KafkaProducer是线程安全的,可以多线程共用一个实例,而KafkaConsumer是非线程安全的,这点我对比了下KafkaProducer和KafkaConsumer中的成员变量。KafkaConsumer非线程安全的原因应该在于下面这个成员变量:
private boolean cachedSubscriptionHashAllFetchPositions;
cachedSubscriptionHashAllFetchPositions在每回poll方法调用时都会去判断订阅分区位移是否有效,有效为true,无效则在poll的指定时间内重置分区offset,这个参数多线程条件下修改是不安全的。
KafkaConsumer除了wakeUp()的其它公共方法调用时都会进行一次acquire()检测,类似于乐观锁的机制,判断是否被不同线程调用。acquire方法如下:
private void acquire() {
long threadId