ICCV2019:DeepFill一个用于生成图像修复任务的开源框架

 

作者

介绍

作者提出了一种生成式图像修复系统，该系统基于从数百万个图像中学习的门控卷积，无需额外的标记工作。作者所提出的卷积解决了将所有输入像素都视为有效像素的香草卷积问题，通过为所有通道在所有层上的每个空间位置提供可学习的动态特征选择机制来概括部分卷积。

 

此外，由于自由形式的蒙版可能会出现在任何形状的图像中，因此为单个矩形蒙版设计的全局和局部GAN均不适用。因此，我们还通过应用频谱归一化提出了基于补丁的GAN损失，称为SN-PatchGAN鉴别密集图像斑块。SN-PatchGAN的配方简单，训练快速，稳定。自动图像修复和用户指导的扩展的结果表明，与以前的方法相比，我们的系统可产生更高质量和更灵活的结果。我们的系统可帮助用户迅速移除分散注意力的物体，修改图像布局，清除水印并编辑脸部。

 

下图显示处理：

 

作者在项目中提供了一个交互式演示，我们可以自由地遮盖图像的某些部分，然后检查其生成效果。Deepfill V2提供了两个模型，这些模型在两个数据集上进行了预训练：places2和celebahq。从效果的角度来看，至少对于这两个数据集，它在场景和面部图像中做得非常好，尤其是在人脸补全效果突出。