原文网址:Kafka--延迟队列--使用/实现/原理_IT利刃出鞘的博客-CSDN博客
简介
本文介绍Kafka如何使用延迟队列的功能。
Kafka是很常用的消息队列,但Kafka本身是没有延迟队列功能的(RabbitMQ、RocketMQ有延迟队列功能)。本文介绍如何手动给Kafka添加延迟消息的功能。
虽然Kafka内部有时间轮,支持延时操作,例如:延迟生产、延迟拉取以及延迟删除,但这是Kafka自己内部使用的,用户无法将其作为延迟队列来使用。
本内容也是Java后端面试常问的问题 。
方案描述
方案概述
kafka作为一个高性能的消息队列,只要消费能力足够,发出的消息都是会立刻被收到的,因此需要想一个办法,让消息延迟发送出去。
方案如下:
- 第1步:发送延迟消息时不直接发送到目标topic,而是发送到一个用于处理延迟消息的topic,例如delay-minutes-1
- 第2步:写一段代码拉取delay-minutes-1中的消息,将满足条件的消息发送到真正的目标主题里。
如何延迟发送
延迟消息发出去之后,代码程序就会立刻收到延迟消息,要如何处理才能让延迟消息等待一段时间才发送到真正的topic里面?
不能用sleep
有同学会说很简单嘛,在程序收到消息后判断若条件不满足,就调用sleep方法,过一段时间再进行下一个循环拉取消息。但这样是不行的,原因如下:
在轮询kafka拉取消息的时候,kafka会返回由max.poll.records配置指定的一批消息,当程序不能在max.poll.interval.ms配置的期望时间内处理这些消息的话,kafka就会认为这个消费者已经挂了,会进行rebalance,同时你这个消费者就无法再拉取到任何消息了。
举个例子:当你需要一个24小时的延迟消息队列,在代码里面写下了Thread.sleep(1000*60*60*24);,为了不发生rebalance,你把max.poll.interval.ms 也改成了1000*60*60*24,这个时候你或许会感觉到一丝丝的怪异,我是谁?我在哪?我为什么要写出来这样的代码?
上边只是部分内容,为便于维护,本文已迁移到此地址:Kafka延迟队列的实现方式 - 自学精灵