Hazelcast Cooperative Multithreading多线程协作

前言

说到分布式计算，线程管理是逃不开的话题，大量的分布式计算任务在JVM中要如何合理的调度？线程优先级如何控制？显而易见Java并没有帮我们做到这些，但是Hazelcast实现了这部分的能力。

前言

Hazelcast不会为每个并发任务启动新线程。相反，它使用了一种类似于协程的设计：任务的执行可以完全在Java级别暂停。底层线程只是继续执行，将控制权返回到在单个工作线程上管理多个协同路由的框架代码。我们使用这种设计是为了最大限度地提高CPU利用率。两个关键点：

• 不涉及操作系统的线程调度上下文切换的开销要低得多。
• 工作线程在同一个CPU内核上停留的时间更长，从而缓存利用率更高。

Tasklet

关键点就是Hazelcast的Tasklet接口。

interface Tasklet {
    ProgressState call();
    ...
}

引擎调用call方法，优化后响应时间小于1ms。返回值ProgressState的结果是一对布尔值：（madeProgress，IsOne）。前者用于CPU负载控制（防止热空闲循环），后者则表示任务完成。只要任务继续报告“未完成”，Hazelcast就会再次调用它，代码如下：

while (true) {
    boolean madeProgress = false;
    for (Iterator<Tasklet> it = tasklets.iterator(); it.hasNext();) {
        ProgressState ps = it.next().call();
        if (ps.isDone) {
            it.remove();
        }
        madeProgress |= ps.madeProgress;
    }
    if (!madeProgress) {
        backOff();
    }
}

Hazelcast在每个物理CPU上都会运行上面这段代码。

Tasklet会反复调用Processor的下面方法，直到消费完所有inbox。

interface Processor {
    void process(int ordinal, Inbox inbox);
    ...
}

Processor消费后会吐到Outbox，如下：

interface Outbox {
    boolean offer(int ordinal, @Nonnull Object item);
    ...
}

如果Outbox满了就会返回false，然后Processor就会从process方法返回，同时Tasklet会从call方法返回。Processor要保存状态以便将来恢复到中断位置。

Traverser

interface Traverser<T> {
    T next();
    ...
}

这个简洁的定义可以让我们用lambda来实现Traverser。但是也可以有非常复杂的情况。
在ProcessorTasklet级别，我们需要一个完整的状态机实现，基本上是手工实现CPS转换。