反卷积(Deconvolution)与棋盘效应(Checkerboard Artifacts)

    当我们仔细观察由神经网络生成的图像时，我们经常会看到一种奇怪的棋盘图案。在某些情况下，它比其他情况更明显，但最近的大部分模型都表现出这种行为。

    当我们要用到深度学习来生成图像的时候，往往是基于一个低分辨率且具有高维的特征图。我们通常使用反卷积操作来完成此操作，但不幸的是，当卷积核大小不能被步长整除的时候，会出现棋盘现象

 

 并且在二维图片上，情况会更加严重：

 

    方法尝试1：现在，神经网络在创建图像时通常使用多层反卷积，从一系列较低分辨率的描述中迭代地构建较大的图像。虽然这些堆叠的去卷积可能会消除伪影，但它们通常会复合，从而在各种尺度上产生伪影。

 

方法尝试2：在反卷积后面，再接一个步长为1的卷积，效果有限

 

方法尝试3：调整卷积核的权重，适当加大重叠部分少的权重，虽然理论有效，但在实际操作中，不仅有困难也会减弱模型的表达力

 

    方法尝试4：使得卷积核大小不能被步长整除，但卷积核权重的学习不均匀也会导致伪影现象（下图为步长为2，核大小为4所产生的现象）

 

 

  正确的方法尝试5：调整图像大小（使用最近邻插值或双线性插值），然后执行卷积操作。这似乎是一种自然的方法，大致相似的方法在图像超分辨率方面表现良好

 

方法对比实验，效果最好的是方法5

 

  参考资料：Deconvolution and Checkerboard Artifacts