Image Inpainting for Irregular Holes Using Partial Convolutions

       这篇文章是用来做图像修复的，对于损坏较小的图片，损坏的部分的区域的像素分布规律应该是和整张图片或者其周围的完整的区域像素分布的规律是相似的，所以图像的修复便是利用完整区域的像素分布信息去近似还原损坏的区域，深度学习具有优越的特征提取和表达能力，可以很好地应用到图片修复任务中，在这篇文章之前，很多基于深度学习的图像修复方法是在损坏的图像上使用标准的卷积网络，利用卷积核去同时卷积损坏图片的有效像素和被损坏部分的替代像素(一般都是用平均值去替代)，利用有效像素提取到的信息去还原被损坏区域的像素，这样做通常导致还原出来的像素含有人工产生的效果，会有颜色差异以及较为模糊的情况，因为提取图片的像素分布信息的时候将损坏区域的像素信息也统计进去了，这样会对最终的有效像素信息的获取产生了干扰，就像我们用均值滤波去给图像去噪一样，虽然最终图片的噪声会减小，但是图片会变得更加模糊，有一些后处理措施尽量减少这些弊端，但是会付出高昂的代价，并且不太容易成功。基于这个motivation，本片论文的作者提出了局部卷积的方法，对卷积核有一个mask操作，使得卷积的时候不对损坏的像素有响应，只对有效的像素有响应。这样本篇论文的主要工作就是要设计一种产生mask的机制，能够在网络前向传播的时候自动生成为下一层卷积核normalize的mask。

       图像修复的任务是设法填充图像中缺失的区域漏洞，这个任务可以用在很多方面，比如在图像编辑的时候我们可以去掉图像中的一些不想展示出来的区域，而填充成符合图像语境区域使得区域的删除不被察觉。以前的基于深度学习的方法主要关注于图像中心周围的规则的矩形区域，并且通常依赖于昂贵的后处理，这篇论文的目标是提出一种图像修复模型，该模型可以在不规则损坏孔的图像上平稳的运行而不是只关注于规则的位于图像中心的损坏区域，并产生语义上有意义的预测，与图像的其余部分平滑地结合，无需任何额外地后处理或者融合操作。

       最近的没有使用深度学习的图像修复的方法则是利用剩余的没有损坏的图片区域的统计特性去填充漏洞，这种方法尽管能够生成平滑的结果，但是基于统计的人工提取出来的特征还是不能和深度学习提取到的特征相比，基于统计提取的特征的高级语义性会受到很大限制，所填充的像素并没有视觉语义性的特性。就比如PatchMatch方法，迭代地从图片中搜寻patches去填充损失区域，尽管能够很平滑地填充了损失的区域，但是填充的像素的语义信息的提取也是通过利用图片中的patches的统计信息完成的，这样语义信息的获取将被大大地限制。

       深度学习网络可以利用层次结构学习到较好的语义先验信息，中间不同层的特征表示了不同级别的语义信息，之前的利用深度学习解决图像修复的方法一般都是先将损坏的区域利用统一固定的值(比如图片所有像素的均值)去填充，然后对整张图片进行卷积，这样就能提取到更具语义性的信息，最后填充的像素也会具有一定的语义性，但是这种方式很容易受到初始填充的固定值的影响，因为初始值并没有语义信息但是把他同其他有语义信息的像素混合在一起了，这样对网络提取正确的语义信息有一定的干扰性，所以这种方法最终的输出结果会产生visual artifacts，比如颜色差异以及模糊等现象，一般要处理这些visual artifacts需要大代价的后处理，而且就算有后处理也不能完全解决这些问题。本篇论文的工作就是要摆脱对损坏区域初始定值的依赖，获取更加优越的语义信息，得到更加精准的预测，尽力避免产生visual artifacts问题，省去后处理环节。

       如何才能在卷积的过程中不对损坏的区域进行卷积，本文提出的方法就是局部卷积，就是提供一个对应于损坏图片的mask，利用该mask对卷积操作进行正则化，使其不对损坏区域进行激活响应，只对有效的区域进行激活响应，具体细节在后面会详细说明。这种方法在图像的语义分割任务中有人使用过，本文的创新点就是随着层次的深入，网络会更新mask，因为不同层的损坏区域是有变化的(由于pooling的存在吧)， Our main extension is the automatic mask update step, which removes any masking where the partial convolution was able to operate on an unmasked value.