如何从 Kafka 看时间轮算法设计，四面阿里Java开发岗

最新推荐文章于 2024-06-15 08:47:21 发布

2024开发者

最新推荐文章于 2024-06-15 08:47:21 发布

阅读量769

点赞数 11

分类专栏： 2024年程序员学习文章标签： kafka 算法 java

本文链接：https://blog.csdn.net/2401_83620927/article/details/136949836

版权

291 篇文章 0 订阅

订阅专栏

如果要支持几十万毫秒的定时任务，难不成要扩容时间轮的那个数组？实际上这里有两种解决方案：

使用增加轮次/圈数的概念（Netty 的 HashedWheelTimer ）
举例来说，比如目前是 “0-7” 8个槽，41 % 8 + 1 = 2，即应该放在槽位是 2，下标是 1 的位置。然后 ( 41 - 1 ) / 8 = 5，即轮数记为 5。也就是说当循环 5 打开之后扫到下标的 1 的这个槽位会触发这个任务。
具体实现细节这里不详述
使用多层时间轮回的概念（Kafka 的 TimingWheel）
相较于上个方案，层级时间轮能更好控制时间粒度，可以应对更加复杂的定时任务处理场景，适用的范围更广；

多层时间轮回就更像我们钟表的概念了。秒针走的一圈、分针走的一圈和时针走的一圈就形成了一个多层时间轮的关系。

如何从 Kafka 看时间轮算法设计

第N层时间轮走了一圈，等于 N+1 层时间轮走一格。即高一层时间轮的时间跨度等于当前时间轮的整体跨度。

在任务插入时，如果第一层时间轮不满足条件，就尝试插入到高一层的时间轮，以此类推。

随着时间推进，也会有一个时间轮降级的操作，原本延时较长的任务会从高一层时间轮重新提交到时间轮中，然后会被放在合适的低层次的时间轮当中等待处理；

在 Kafka 中时间轮之间如何关联呢，如果展现这种高一层的时间轮关系？

====================================

其实很简单就是一个内部对象的指针，指向自己高一层的时间轮对象。

另外还有一个问题，如何推进时间轮的前进，让时间轮的时间往前走。

===============================

Netty 中的时间轮是通过工作线程按照固定的时间间隔 tickDuration 推进的
如果长时间没有到期任务，这种方案会带来推进的问题，从而造成一定的性能损耗；
Kafka 则是通过 DelayQueue 来推进，是一种空间换时间的思想；
DelayQueue 中保存着所有的 TimerTaskList 对象，根据时间来排序，这样延时越小的任务排在越前面。
外部通过一个线程（叫做ExpiredOperationReaper）从 DelayQueue 获取超时的任务列表 TimerTaskList，然后根据 TimerTaskList 的 过期时间来精确推进时间轮的时间 ，这样就不会存在空推进的问题啦。

其实 Kafka 采用的是一种权衡的策略，把 DelayQueue 用在了合适的地方。DelayQueue 只存放了 TimerTaskList，并不是所有的 TimerTask，数量并不多，相比空推进带来的影响是利大于弊的。

=================================================================================================================

总结