解读Flink中轻量级的异步快照机制--Flink 1.2 源码

最新推荐文章于 2022-06-03 12:00:33 发布

lmalds李麦迪

最新推荐文章于 2022-06-03 12:00:33 发布

阅读量3.3k

点赞数

分类专栏： Flink 文章标签： Flink

本文链接：https://blog.csdn.net/lmalds/article/details/54948495

版权

上一篇文章中，对于ABS算法，其实现主要通过checkpoint的barrier的阻塞与释放来实现。

本片重点关注ABS在Flink 1.2中源码的实现。

1、CheckpointBarrierHandler

此接口位于org.apache.flink.streaming.runtime.io中，管理从input channel获取的barrier的信息。它提供了如下几种方法：

public interface CheckpointBarrierHandler {
   

    BufferOrEvent getNextNonBlocked() throws Exception;

    void registerCheckpointEventHandler(StatefulTask task);

    void cleanup() throws IOException;

    boolean isEmpty();

    long getAlignmentDurationNanos();
}

其中关于barrier的阻塞与释放，主要在getNextNonBlocked() 中实现。

根据CheckpointingMode的不同，Flink提供了2种不同的检查点模式：

1、Exactly once
2、At least once

其中默认的模式是EXACTLY_ONCE。

对应这两种不同的模式，Flink提供了2种不同的实现类：

1、BarrierBuffer类（对应于Exactly Once）
2、BarrierTracker类（对应于At Least Once）

这里写图片描述

由于论文中重点强调input channel的阻塞，即对于Exactly Once的实现，因此我们这里也重点关注代码中BarrierBuffer类的实现。

2、BarrierBuffer类

我们先回顾一下上一篇论文中关于此算法的伪码：

这里写图片描述

其核心就是一个input channel收到barrier，立刻阻塞，然后判断是否收到所有input channel的barrier，如果全部收到，则广播出barrier，触发此task的检查点，并对阻塞的channel释放锁。

实际上，为了防止输入流的背压（back-pressuring），BarrierBuffer并不是真正的阻塞这个流，而是将此channel中，barrier之后数据通过一个BufferSpiller来buffer起来，当channel的锁释放后，再从buffer读回这些数据，继续处理。

下面我们看看这个类的具体实现：

public class BarrierBuffer implements CheckpointBarrierHandler {
   

    private static final Logger LOG = LoggerFactory.getLogger(BarrierBuffer.class);

    /** The gate that the buffer draws its input from */
    private final InputGate inputGate; //一个task对应一个InputGate，代表input的数据集合（可能来自不同的input channel）

    /** Flags that indicate whether a channel is currently blocked/buffered */
    private final boolean[] blockedChannels; // 标记每个input channel是否被阻塞（或者叫被buffer）

    /** The total number of channels that this buffer handles data from */
    private final int totalNumberOfInputChannels; // input channel的数量，可通过InputGate获得

    /** To utility to write blocked data to a file channel */
    private final BufferSpiller bufferSpiller; // 将被阻塞的input channel的数据写到buffer

    /** The pending blocked buffer/event sequences. Must be consumed before requesting
     * further data from the input gate. */
    private final ArrayDeque<BufferSpiller.SpilledBufferOrEventSequence> queuedBuffered; // barrier到达时，此operator中在之前buffered的数据要消费掉

    /** The maximum number of bytes that may be buffered before an alignment is broken. -1 means unlimited */
    private