rdkafka线程过多_Kafka 多线程消费者

Kafka Java Consumer设计

Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。

用户主线程，指的是启动Consumer应用程序main方法的线程，新引入的心跳线程(Heartbeat Thread)只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。

多线程方案

KafkaConsumer不是线程安全的，在使用中必须确保线程安全。

线程安全：多线程访问时，采用加锁机制，当一个线程访问该类的某个数据时，进行保护，其他线程不能进行访问直到该线程读取完，

其他线程才可使用。不会出现数据不一致或数据污染问题。

线程不安全：不提供数据访问保护，有可能出现多个线程先后更改数据造成所得到的数据时脏数据。

鉴于以上事实，我们可以指定两套多线程方案：

1.消费者程序启动多个线程，每个线程维护专属的KafkaConsumer，负责完整的消息获取、消息处理流程。

image.png

2.消费者程序使用单或多线程获取消息，同时创建多个消费线程执行消息处理逻辑。获取消息的线程可以是一个或多个，每个维护专属KafkaConsumer实例，处理消息交由特定线程池来做，从而实现消息获取与消息处理的真正解耦。

image.png

以下为两种方案的优缺点：

image.png

实例代码

1.方案一：

public class KafkaConsumerRunner implements Runnable {

private final AtomicBoolean closed = new AtomicBoolean(false);

private final KafkaConsumer consumer;

public void run() {

try{

consumer.subscribe(Arrays.asList("topic"));

while(!closed.get()){

ConsumerRecords records = consumer.poll(Duration.ofMillis(10000));

}

}catch (WakeupException e){

if (!closed.get()) throw e;

}finally {

consumer.close();

}

}

public void shutdown() {

closed.set(true);

consumer.wakeup();

}

}

2.方案二：

private final KafkaConsumer consumer;

private ExecutorService executors;

...

private int workerNum = ...;

executors = new ThreadPoolExecutor(

workerNum, workerNum, 0L, TimeUnit.MILLISECONDS,

new ArrayBlockingQueue<>(1000),

new ThreadPoolExecutor.CallerRunsPolicy());

...

while (true) {

ConsumerRecords records = consumer.poll(Duration.ofSeconds(1));

for (final ConsumerRecord record : records) {

executors.submit(new Worker(record));

}

}