CNN逆卷积层（ConvTranspose2d）输出有马赛克网格

问题描述

最近在训练卷积神经网络（CNN）时，只要使用逆卷积层（PyTorch中为ConvTranspose2d）进行上采样，输出图像中总会出现如下图所示的马赛克纹理，而且异常明显：

分析

虽然Deconvolution and Checkerboard Artifacts这篇文章中提到了这种马赛克纹理（文中称之为checkerboard artifact）是逆卷积层的固有问题，但是上图中的马赛克比文中给出的示例图像明显太多，使用逆卷积层是CNN中上采样的经典手段，不太可能出现如此巨大的artifact。经过反复检查代码，发现网络的实现并没有问题，马赛克确实是由逆卷积层引起的，即如果将ConvTranspose2d替换成线性插值上采样，马赛克就会消失：

反复调试无果后请教了有经验的高手，给出的结论是网络没训好……
把学习率调高10倍，再多训几十个epoch，就得到了如下结果：

马赛克问题基本消除，这个效果就和文章Deconvolution and Checkerboard Artifacts中的示例图片比较接近了。

解决方法

所以解决这个问题，需要看一下训练曲线是否收敛，如果没有，那么把网络再训练得收敛一些就会大大改善。还有一个缓解的办法是在最后一层ConvTranspose2d之后接一个卷积层（Conv2d），可以带来一点平滑的效果。

思考

从上图的效果可以看到，在图像中不平坦的区域仍然有马赛克网格，这是ConvTranspose2d的固有问题。按照我的理解，由于逆卷积层在做上采样时需要先将原始张量resize再做卷积，而resize时的策略是向已有像素之间补0，这样就会导致在卷积操作之前输入的是一个马赛克极其严重的张量，卷积核本身难以对这样的输入做到很好地平滑。特别是当网络未经训练或者未训练收敛时，输出就会带有更加明显的马赛克。（文章Deconvolution and Checkerboard Artifacts中认为马赛克的产生是由于卷积时的重叠效应，不知道这一解释是否和补0的解释等价，有待验证。）

文章Deconvolution and Checkerboard Artifacts中还提到一点，即当我们对卷积层（Conv2d layer）做反向传播时，也相当于实施了一次逆卷积操作（不太理解），所以这种checkerboard artifact也会出现在梯度计算中。这在特征可视化（feature visualization）任务中也是一大挑战。

思考1：既然上采样时补0会造成artifact，那么补邻近像素值是否能解决？
思考2：如果反向传播计算梯度时仍然有checkerboard artifact，那么是否会影响CNN的收敛性？有没有更好的架构？