consumer是非线程安全的,它不能在多线程中使用,所以在shutdownHook线程中不能使用consumer的close方法。如果你没有在程序退出前很好关闭consumer,最明显的行为主是在下次启动程序消费数据时会发现consumer分配分区的过程可能非常慢,还有一个问题是Kafka不能立即知道consumer已经退出,如果同组在其他地方有其他消费者,rebalance要在心跳超时后才分触发。
解决思路
主要思路是在shutdownHook线程中使用consumer的wakeup()方法让主线程中消费者在下次poll的时候抛出WakeupException,以退出while循环,在finall中关闭consumer。当然还需要在shutdownHook线程中等待主线程完成任务再退出整个程序。
Runtime.getRuntime().addShutdownHook(new Thread() {
public void run() {
System.out.println("Starting exit...");
consumer.wakeup();
try {
// 主线程继续执行,以便可以关闭consumer,提交偏移量
mainThread.join();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
try {
while (true) {
ConsumerRecords<String, String> records = consumer.poll(1000);
for (ConsumerRecord<String, String> record : records) {
System.out.println("topic = " + record.topic() + ", partition = " + record.partition()
+ ", offset = " + record.offset());
}
consumer.commitAsync();
}
}catch (WakeupException e) {
// 不处理异常
} finally {
// 在退出线程之前调用consumer.close()
consumer.close();
System.out.println("Closed consumer and we are done");
}