问题:001 如何在shutdownhook中优雅的 close kafka consumer

这之所以是个问题,是由于 consumer 的非线程安全的,他不被允许在多个线程中使用,所以直接在 shutdownHook线程 中调用 consumer 的 close() 方法,会抛出相关异常。

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
        at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1824)
        at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1713)
        at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1692)

如果你没有在程序退出前很好的 close consumer。最明显的行为就是在下次启动程序消费数据的时候会发现为consumer分配分区的过程可能非常慢(几分钟),还有一个问题是Kafka不能立刻知道 consumer 已经退出,如果同组在其他地方有其他消费者,再均衡在消费心跳超时后才会触发。其他可能的问题还不知道,水平有限。总之,close() 是必须的。

解决思路

解决切入点,是使用 consumer 的 wakeup() 来完成,这个方法是可以在多线程下调用的。

主要思路是在shutdownHook线程中使用 consumer 的 wakeup() 方法让主线程中的消费者在下次 poll 的时候抛出 WakeupException,以退出 while 循环,在 finally 中关闭 consumer。当然是还需要在shutdownHook线程中等待主线程完成任务再退出整个程序。

Runtime.getRuntime().addShutdownHook(new Thread
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值