Pixel Deconvolutional Network读书笔记

本文主要是对传统的反卷积层进行修改，利用输入feature map来生成新的中间feature map，在根据之前所有的中间feature map生成下一个中间feature map，依次生成所有的中间feature map，最后在混合合并成输出的feature map。

反卷积层已被广泛用于各种深模型作为上采样操作，包括无监督学习的语义分割和深编码-解码网络生成模型。反卷积的限制之一的是它们产生所谓的棋盘问题。之所以会产生这个问题主要是因为生成的输出feature map的相邻像素之间不存在直接的关系。为了解决这个问题，我们提出了像素反卷积层（pixeldcl）在上采样的feature map上建立相邻像素间的直接关系。我们的方法是基于一个新的解释正则反卷积操作。由此产生的pixeldcl可以通过插入原始框架用来取代任何反卷积层且不损害原模型的表达能力。该pixeldcl可能导致计算速度有下降，但这可以通过一些trick克服。语义分割实验结果表明，pixeldcl考虑了空间特征如边缘和形状，比传统的反卷积层得到更准确的分割输出。使用在生成任务时，我们的pixeldcl可以在很大程度上克服传统卷积操作所产生的棋盘问题。

作者提出iPixelDCL和PixelDCL两种反卷积方法。首先输入的feature Map是4×4大小，iPixelDCL反卷积层中每一个中间feature map都由输入feature map和之前所有的中间feature map生成得到，最后再将所有的中间feature map混合组合成8×8大小输出feature map。而PixelDCL只保留第一个中间feature map与输入feature map之间的关系，去掉了输入feature map对其余中间feature map的影响，改由第一个中间feature map来影响其余的中间feature map。作者通过实验证明这种对iPixelDCL的简化方法不但可以加快计算速度，同时解决棋盘问题，因此不需要重复的依赖于输入feature map。

上图是像素反卷积层的有效实现。在该层中，将4×4特征图上采样到8×8特征图。通过来自输入特征图的2×2卷积操作生成紫色特征图（步骤1）。之后，在紫色特征图上使用另一个2×2的卷积操作来产生橙色特征图（步骤2）。紫色和橙色特征图被扩大并组合到一起以形成更大的特征图（步骤3）。由于最后两个中间特征图之间没有关系，因此我们可以使用一个3×3卷积操作，而不是两次单独的2×2卷积操作来生成蓝色特征图（步骤4）。最后，组合两个大的特征图以产生最终的输出特征图（步骤5）。

在进行语义分割时，像素反卷积层（pixel deconvolutional layers）可用于从低分辨率特征图上采样到高分辨率特征图。

看了之前的文章之后，我认为DUC（Understanding Convolution for Semantic Segmentation）给出的代替上采样的方法和这篇文章提出的PixelDCL的方法，一个是根据输入去学，一个是根据输出的label去学。