前言
说到分布式计算,线程管理是逃不开的话题,大量的分布式计算任务在JVM中要如何合理的调度?线程优先级如何控制?显而易见Java并没有帮我们做到这些,但是Hazelcast实现了这部分的能力。
前言
Hazelcast不会为每个并发任务启动新线程。相反,它使用了一种类似于协程的设计:任务的执行可以完全在Java级别暂停。底层线程只是继续执行,将控制权返回到在单个工作线程上管理多个协同路由的框架代码。我们使用这种设计是为了最大限度地提高CPU利用率。两个关键点:
- 不涉及操作系统的线程调度上下文切换的开销要低得多。
- 工作线程在同一个CPU内核上停留的时间更长,从而缓存利用率更高。
Tasklet
关键点就是Hazelcast的Tasklet接口。
interface Tasklet {
ProgressState call();
...
}
引擎调用call方法,优化后响应时间小于1ms。返回值ProgressState的结果是一对布尔值:(madeProgress,IsOne)。前者用于CPU负载控制(防止热空闲循环),后者则表示任务完成。只要任务继续报告“未完成”,Hazelcast就会再次调用它,代码如下:
while (true) {
boolean madeProgress = false;
for (Iterator<Tasklet> it = tasklets.iterator(); it.hasNext();) {
ProgressState ps = it.next().call();
if (ps.isDone) {
it.remove();
}
madeProgress |= ps.madeProgress;
}
if (!madeProgress) {
backOff();
}
}
Hazelcast在每个物理CPU上都会运行上面这段代码。
Tasklet会反复调用Processor的下面方法,直到消费完所有inbox。
interface Processor {
void process(int ordinal, Inbox inbox);
...
}
Processor消费后会吐到Outbox,如下:
interface Outbox {
boolean offer(int ordinal, @Nonnull Object item);
...
}
如果Outbox满了就会返回false,然后Processor就会从process方法返回,同时Tasklet会从call方法返回。Processor要保存状态以便将来恢复到中断位置。
Traverser
interface Traverser<T> {
T next();
...
}
这个简洁的定义可以让我们用lambda来实现Traverser。但是也可以有非常复杂的情况。
在ProcessorTasklet级别,我们需要一个完整的状态机实现,基本上是手工实现CPS转换。