图像修复：论文总结

此博客仅用于记录曾阅读过的部分论文（图像修复相关）及其简要概括

1、Deepak Pathak, Philipp Krähenbühl, Jeff Donahue, Trevor Darrell, Alexei A. Efros: Context Encoders: Feature Learning by Inpainting. CVPR 2016: 2536-2544

该论文第一次提出使用GAN进行图像修复的工作，是一篇里程碑式的论文。

2、Kamyar Nazeri, Eric Ng, Tony Joseph, Faisal Z. Qureshi, Mehran Ebrahimi: EdgeConnect: Structure Guided Image Inpainting using Edge Prediction. ICCV Workshops 2019: 3265-3274

该论文中的方法为：先提取图片的边缘图，使用第一个GAN网络修复受损的边缘图；将得到的完整边缘图和待修复图片输入到第二个GAN网络中进行修复工作，最终得到修复结果。
优点：对于受损区域不规则的图片，也可以得到较好的结果。
缺点：对于不对称的受损图片，边缘修复的效果往往不太令人满意，导致最终结果较差。

3、Satoshi Iizuka, Edgar Simo-Serra, Hiroshi Ishikawa: Globally and locally consistent image completion. ACM Trans. Graph. 36(4): 107:1-107:14 (2017)

该论文提出的方法：Generator 生成的图片仅为受损部分，由两个 Discriminator 进行判别，一个负责判别生成的受损部分与原图部分是否一致，即局部判别；另一个判别生成的图片和原图拼接起来的图片与原始完整图片是否一致，即全局判别。
优点：较大缺失也可生成比较满意的图片填充。
缺点：对于缺失部分，生成的图片往往是用背景填充而忽略了缺失部分是完整物体的一部分。例如受损部分为人的手臂部分，而修复结果往往会用背景填充缺失部分，造成只有一个手的情况。

4、Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas S. Huang: Generative Image Inpainting With Contextual Attention. CVPR 2018: 5505-5514

方法：卷积不使用残差网络而是使用空洞卷积。分两次生成图片，第一次生成较为模糊的受损区域，紧接着送入第二个网络生成更精细的图片。判别器也采用两个判别器，一个判别局部，一个判别全局。同时还引入注意力机制。
缺点：可能会出现模式坍塌，不管哪个位置受损，生成的图片都有相似的地方，即多样性不足。

5、Hongyu Liu, Bin Jiang, Yi Xiao, Chao Yang: Coherent Semantic Attention for Image Inpainting. ICCV 2019: 4169-4178

方法：原始图片为Igt，受损图片为Iin，先生成粗略的图片Ip，Igt和Ip之间的L1距离作为重建损失之一。生成的粗略图片Ip和受损图片Iin送入精细网络，生成更精细的修复图片Ir，其中Igt和Ir之间的L1距离为重建损失之二。将原图Igt输入VGG网络进行特征提取，在生成精细图片的过程中提取图片特征，两特征之间的差值作为一致性损失。同时也采用两个判别器，不过与上述论文中的判别器不同，该论文的判别器分为特征判别器和色块判别器，分别判断特征是否一致以及像素是否一致，此作为判别器损失。将上述三种损失加权和，即为整个网络结构的损失函数。
优点：根据特征生成图片，保证图片的一致性，能使结果更合理、更自然

（实际看过的论文远不止于此，但为了效率，权且先放入上述5篇论文以表确有相关经历。后续可能会增加一些20年以后的论文）