这之所以是个问题,是由于 consumer 的非线程安全的,他不被允许在多个线程中使用,所以直接在 shutdownHook线程 中调用 consumer 的 close()
方法,会抛出相关异常。
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1824)
at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1713)
at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1692)
如果你没有在程序退出前很好的 close consumer。最明显的行为就是在下次启动程序消费数据的时候会发现为consumer分配分区的过程可能非常慢(几分钟),还有一个问题是Kafka不能立刻知道 consumer 已经退出,如果同组在其他地方有其他消费者,再均衡在消费心跳超时后才会触发。其他可能的问题还不知道,水平有限。总之,close() 是必须的。
解决思路
解决切入点,是使用 consumer 的 wakeup()
来完成,这个方法是可以在多线程下调用的。
主要思路是在shutdownHook线程中使用 consumer 的 wakeup()
方法让主线程中的消费者在下次 poll 的时候抛出 WakeupException,以退出 while 循环,在 finally 中关闭 consumer。当然是还需要在shutdownHook线程中等待主线程完成任务再退出整个程序。
Runtime.getRuntime().addShutdownHook(new Thread