延迟队列，它是一种带有延迟功能的消息队列，目前工作中有几处需延时处理的应用场景

Survive by day and develop by night.
talk for import biz , show your perfect code,full busy，skip hardness,make a better result,wait for change,challenge Survive.
happy for hardess to solve denpendies.

目录

概述

延迟队列，它是一种带有延迟功能的消息队列，目前工作中有几处需延时处理的应用场景

需求：

1.kafka
考虑前提：由于项目代码与业务方交互大多采用 kafka，所以想是否能自己集成一个 kafka 延迟队列，直接提供延迟功能，更方便使用。

设计思路

实现思路分析

1.Java

这里我们可以使用规则的数据结构来存储和转发。
借鉴 rocketMQ 延迟队列设计思想，创建多个topic 用于处理不同的延迟消息，例如延迟一分钟的任务消息，让 topic为 delay-minutes-1 进行处理。

发送延迟消息时不直接发到目标topic，而是发到一个用于处理延迟消息的topic，例如 delay-minutes-1

写一段代码定时拉取 delay-minutes-1 中的消息，将满足的消息发到真正的目标主题里。

2.流程图

解决问题：如何让延迟消息等待一段时间才发送到真正的topic里面？
答：KafkaConsumer 提供了暂停和恢复的 API 函数，当消费者发现不满足消费时间条件时，可以先暂停消费者，并把消费偏移量移动到上次位置，进行等待下次消费。

KafkaConsumer 提供了暂停和恢复的 API 函数，当消费者发现不满足消费时间条件时，可以先暂停消费者，并把消费偏移量移动到上次位置，进行等待下次消费。

缺点：kafka内部改造复杂度较高，由于要使 consumer 进行 pause，还需要额外的做一些健康检查操作，在状态不对时可以报警或者重启。另外，不支持灵活设置延时时间。

答：KafkaConsumer 提供了暂停和恢复的 API 函数，当消费者发现不满足消费时间条件时，可以先暂停消费者，并把消费偏移量移动到上次位置，进行等待下次消费。

3.kafkaConsumer

rocketMQ:
考虑前提：

考虑前提：底层代码已经全部封装好，直接使用，不用关心底层代码，可以实现与业务进行解藕。

大致原理思路：

RocketMQ将延时队列的延时时间分为 18 个级别，在发送 MQ消息的时候只需要设置 delayLevel，把每种延迟时间段的消息放到同一个队列中

通过一个定时器进行轮询这些队列，查看消息是否到期

缺点:
使用中间件，尽可能的需要熟读底层源码，以便后续出现问题，快速跟踪定位。还有能找到适合的扩展点。

拓展实现

这里参考：github:简单实现上述流程：
入门级实现:
: 部分源码实现.
: 源码实现

性能参数测试：

每秒大概18-20个请求，主要用于网络IO操作耗费了不少时间。

参考资料和推荐阅读

1. 爬虫框架的设计与实现之JAVA篇.
2. 主流爬虫框架的基本介绍.
3. 高拓展性的Java多线程爬虫框架reptile.

欢迎阅读，各位老铁，如果对你有帮助，点个赞加个关注呗！~