《Semantic Image Inpainting with Deep Generative Models》论文阅读笔记

会议及期刊：CVPR 2017

作者及机构：

Raymond A. Yeh∗, Chen Chen∗, Teck Yian Lim,Alexander G. Schwing, Mark Hasegawa-Johnson, Minh N. Do University of Illinois at Urbana-Champaign

主要创新点及解决的问题：

本文利用了GAN网络的特点，及经过训练之后能够直接将噪声转化为图片。设计了一种利用先验误差来进行图像修复的方法。巧妙的解决了训练集中缺损图片必须有对应的ground truth的问题，可以直接生成像素级高质量的图片。且在推断过程中也很好的利用了孔洞的结构。

文章的行文结构主要如下：

1.Introduction

在Introduction中花了较多的笔墨介绍了基于传统方法的图像修复。首先作者介绍了自己这次要完成的任务，及语义修复：是针对图片上任意形状的、大的缺失区域进行修复。这与传统的图像修复问题有很大区别。我们在这里统一梳理一遍，之后就不再讲了：

1. 经典的修复方法是通过局部或非局部信息来修复图像的，且大多数已知方法是解决单一的图像修复问题而存在的。因此他们都是通过输入图片上的已知信息以及图像的先验信息来处理问题的。

2. 比如TV（Total Variation）
   考虑到了自然图像的平滑特性来对小范围损坏进行修复，或者去除杂散噪声。纹理图像可以找到图片中对应相似的纹理进行填补。

3. 又如patch offsets(贴片偏移量)、planatity(平面度)、low rank(低秩)这些先验信息也能提高修复效果。

4. PatchMatch(PM)能够在输入图片的已知区域找到相似的补丁，成为了当时最成功的图像修复方法，因为他质量好而且效率高。

5. 但是以上这些所有的单一图片修复方法都要求了输入图像中包含了合适的信息，比如：相似的像素、结构或者补丁，但是在平时的修复任务中这种假设是很难成立的，因为实际上修复的任务往往面对的是大且随机的掩膜，所以以上这些方法pass。

6. 根据以上的逻辑，为了解决这个大区域缺失的问题，研究人员开始在非局部方法上进行一些尝试。

7. 有人提出在一个巨大的数据集中剪切并粘贴一个语义相似的补丁到图像的缺失区域或通过Internet检索到的补丁来替换场景中的目标区域。这些基于检索的方法都要求精确的匹配，当测试场景和数据集中的