女主宣言
Kafka 作为一个支持实时处理大量请求的分布式流处理平台,需要一个设计良好的定时器来处理异步任务。本文作者将基于 Kafka 1.1.0 版本的源码来介绍 Kafka 中定时器的基础数据结构——时间轮的原理和实现。
PS:丰富的一线技术、多元化的表现形式,尽在“360云计算”,点关注哦!
1
简单时间轮
简单时间轮是时间任务桶的循环链表,又被称为桶(bucket)。令 u 为时间单元大小,一个大小为 n 的时间轮有 n 个桶,能够持有 n * u 个定时任务,每个任务的过期时间会落在一个时间间隔内。(注:下文的 u 和 n 沿用这个定义)
每个桶持有进入相应时间范围的定时任务。第一个桶持有 [0, u) 范围的任务,第二个桶持有 [u, 2u) 范围的任务……第 n 个桶持有 [u * (n - 1), u * n) 范围的任务。每过一个时间单元 u,定时器会推进并移动到下个桶,然后第一个桶中所有的定时任务都会过期。由于任务已经过期,此时定时器不会插入任务到当前桶中。定时器会立刻运行过期的任务。因为空桶在下一轮是可用的,所以如果当前的桶对应时间 t,那么它会在推进后变成 [t + u * n, t + (n + 1) * u) 的桶。
本质上时间轮就是个哈希表,通过对任务的过期时间求哈希,落到对应的位置。而每个位置对应的 bucket 是链表,因此时间轮插入/删除定时任务的时间复杂度是 O(1)。而基于优先队列的定时器,比如 java.util.concurrent.DelayQueue 和 java.util.Timer 插入/删除的时间复杂度是 O(log n)。
2
分层时间轮
简单时间轮的主要缺点是它假定定时器请求是在从当前时刻开始的 n * u 时间间隔内,如果定时器请求超出了这个间隔就会产生溢出,导致任务无法放入时间轮中。分层时间轮会处理这种溢出,它以层次来组织时间轮,最底层的精度更高,层数越高,表示的精度更低。这里用精度来指代时间单元大小。
举例说明,令 u = 1, n = 3,设起始时刻是 c,则各层次的桶为
层次 |
桶 | 精度 |
1 |
[c,c] [c+1,c+1] [c+2,c+2] | 1 |
2 | [c,c+2] [c+3,c+5] [c+6,c+8] | 3 |
3 | [c,c+8] [c+9,c+17] [c+18,c+26] | 9 |
PS:这里沿用了代码注释里的表示,即闭区间,而前面讲述原理时都是左闭右开区间,两者是等价的,只是表示不一致。
在 c+1 时刻,桶 [c,c]、[c,c+2]、[c,c+8]过期了,之后:
1 层的时钟移动到 c+1,并且创建新的桶 [c+3,c+3];
2、3 层的时钟仍然在 c 处,因为他们没完全过期。
此时各层次的桶为:
层次 |
桶 | 精度 |
1 |
[c+1,c+1] [c+2,c+2] [c+3,c+3] | 1 |
2 | [c,c+2] [c+3,c+5] [c+6,c+8] | 3 |
3 |
[c,c+8] [c+9,c+17] [c+18,c+26] | 9 |
注意,桶 [c,c+2] 不会接收任何任务,因为此时时刻是 c+1,只有过期时间为 c+1 和 c+2 才会被