这也是一篇有关图像修复的文献，在这里我将对文献的主题部分进行分析，以下内容为我读完文献的理解和思考，不足之处还请在评论区指出。
《Free-Form Image Inpainting with Gated Convolution》这是2019年的ICCV中的一篇文献。
原文链接：
源代码：
http://jiahuiyu.com/deepfill2/
不同于普通的图像修复文献，这篇文献可以针对引导的草图来进行图像修复，也可以简单的理解为根据手绘的线条，按需P图。这篇文献一共有六位署名作者，其中四位来自Adobe，也就是开发出Photoshop的那个公司。对于这篇文章提出的DeepFill（v2）系统的修复效果，可以参考一下这篇文章P图，还是阿逗比厉害（大师加持）。
这篇文章提出了一种基于门控卷积的端到端生成网络核一种新的GAN损失的自由形式的图像修复系统。所提出的门控卷积解决了普通卷积将所有的像素视为有效像素的问题，通过为所有层中的每个空间位置的每一个通道提供一个可学习的动态特征选择机制来泛化部分卷积。
【部分卷积】这里提到的部分卷积来自于2018年ECCV中的《Image Inpainting for Irregular Holes Using Partial Convolutions》这篇文献（这篇文献是在Unet的基础上，将普通卷积替换为部分卷积进行的图像修复）。部分卷积的原理就是只有图像的有效区域参与当前一轮的卷积运算，而掩膜部分将被置于0。更多对于部分卷积的理解参考我的另一篇博客【论文笔记】Recurrent Feature Reasoning for Image Inpainting。
首先来介绍一下这篇文章提出的门控卷积。
这是作者提出的门控卷积的公式。其中，σ是Sigmoid函数，∅可以是任何激活函数，Wg和Wf是两种不同的卷积滤波器。由于Sigmoid的函数是函数值为0-1的连续函数，所以我们可以理解为：不同于部分卷积的硬门控掩码更新策略（掩膜部分是[0 1]二值模板），门控卷积是从数据数据中自动学习软掩码（掩膜部分是[0,1]中的连续值）。
作者认为网络中的特征应该分为三部分：（1）全部基于已知区域获得的特征；（2）全部基于空缺区域获得的特征；（3）部分基于已知区域获得的特征和部分基于未知区域获得的特征。部分卷积将（1）和（3）的掩膜部分全置为1，而将（2）的掩膜部分置为0。而门控卷积将（2）掩膜部分置为0-1之间的连续值。我理解的这么做的好处主要体现在，当我们在掩膜部分加入手绘线条时，如果使用部分卷积的方法进行修复，就无法学习到掩膜部分的内容；如果使用门控卷积的方法进行修复，就可以将掩膜部分的手绘曲线作为边界区域引导图像修复过程。
这是门控卷积与部分卷积的对比。
门控卷积就是让网络自己去学习一个掩膜，对每层的特征都去学习一个掩膜，让掩膜与特征相乘得到最后的结果。部分卷积的掩膜会随着网络的深度而变小，最后掩膜的值全为1，但此时的特征中仍然包含从缺失区域提取的信息，在这一点上不是很合理。
接下来来介绍一下这篇文章的网络结构。
这篇文章采用的是生成式对抗网络。
生成器部分将所有的普通卷积替换成了门控卷积，采用了粗细两级网络。粗网络由门控卷积和膨胀门控卷积构成，采用了编解码结构进行上采样与下采样，用来修复一个粗略的结果。细网络由两个分支构成，在一个分支中加入了基于上下文的注意力机制。具有上下文的注意力机制的细化网络尤其提高了纹理细节的清晰度，用于实现更加精准的修复。
鉴别器部分作者提出了SN-PatchGAN网络，用于训练自由形式的图像修复网络。如果说普通的GAN鉴别器是一个分类器，它的输入为一张图片。那么SN-PatchGAN鉴别器的输入换成了各种不规则形状的填补区域，也就是他直接对特征映射中的每个点应用GAN损失。
然后来看一下这个网络的修复效果，这里只是贴了几张基于手绘线条的修复图像。可以看到草图部分可以很好的引导图像修复的效果。
在这里总结一下这篇文章的创新点。
（1）引入门控卷积来学习所有层中每个空间位置的每个通道的动态特征选择机制，显著提高自由形式的蒙版和输入的颜色一致性和修复质量。
（2）提出来一种新颖的GAN鉴别器SN-PatchGAN。
（3）将提出的修复模型扩展为交互式模型，该模型可以将用户草图作为指导，以获得更多用户期望的修复结果。
最后， 如果说这篇文章还有什么缺陷，我觉得是在修复掩膜面积较大时，可能会出现过度平滑或模糊的现象；草图中没有颜色，所以最后修复的图像颜色只能依赖于训练集分配。
530
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
