Checkerboard Context Model阅读

创新点

以往的方法大多采用基于掩码卷积的自回归模型，极大地提高了模型的性能，但由于严格的解码顺序，解码速度随特征图的大小指数增加。
为了并行化熵模型，提出了一种两阶段的上下文模型。最快情况两步即可解码所有隐特征。

Context Modeling

用随机掩码对各种上下文模型进行分析，比较不同上下文位置对节省比特率的作用。

从sampling space中随机采取不同的掩码格式(黑色表示采用该位置的信息，白色表示用掩码进行隐藏)应用到图片中，评估最后的比特大小。
量化节省比特率的能力，定义为码率节省比
R0表示不用已经解码的信息作为上下文，RM表示采用随机掩码。

Distance Influences

计算不同模式的单掩码(每个掩码只有一个位置设为1,其他位置设为0,如图4(b))的η，发现更近的邻居的隐变量会降低更多的比特率，而距离超过2的邻居隐变量对比特率的影响可以忽略。
这解释了为什么用更大的卷积核的掩码卷积比5×5的卷积核来建模上下文会出乎意料地损害性能，计算几乎没有携带信息的邻居，帮助不大，反而增加了过拟合的风险。
据此建立了新的并行上下文模型。

Parallel Decoding

gcm：带棋盘掩码的上下文模型，gep：概率密度参数。
hyperprior feature：超先验特征.
串行的方法需要按序解码，这个模型只需要两步。

第一步:

将一半的隐变量称为anchor，只依赖于超先验特征。
用一个概率密度参数将超先验特征与零特征进行拼接得到锚点隐特征，在经过自动解码得到预测的锚点特征。
将预测的锚点特征进行棋盘格掩码卷积得到一半的上下文特征(用作第二步)。

第二步：

将第一步的上下文特征和超先验特征经过一个概率密度参数得到不带锚点的隐特征。
再经过自动解码就得到另一半预测的不带锚点的特征。
将两部分特征进行拼接得到完整的解码后的预测特征。

Experiment

用随机掩码模型测试了各种掩码。
Kref:被引用的邻居数，RM:BPP，η(M):码率节省比。

不同情况下解码时间的对比。