基于深度学习的Image Inpainting (图像修复)论文推荐(持续更新)

 

传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成效。今天我们讨论的问题，图像补全(image inpainting)，正是介于图像编辑和图像生成之间的一个问题。

图像补全最初是一个传统图形学的问题。问题本身很直观：在一幅图像上挖一个洞，如何利用其它的信息将这个洞补全，并且让人眼无法辨别出补全的部分。这个问题对我们人类似乎很容易，比如下面这个洞，大家很容易脑补出洞里应该有窗户和门，背景是墙，如果还有一些绘画天赋的话，大概就能想象着把它补出来。但是这个任务对于计算机却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其它的信息？如何判断补全结果是否足够真实？

 

以深度学习为代表的机器学习，正在逐渐席卷整个图形学研究领域。研究者们逐渐发现，当传统的基于物理的模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构，才能更好地指导图像的生成和处理。

 

 

文章推荐

 

---

1. CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖级的 NN修复方法） 

链接： Feature Learning by Inpainting; 

Github代码:

pathak22/context-encoder​github.com

2. CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF) 

 链接： High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis; 

Github代码:

leehomyc/Faster-High-Res-Neural-Inpainting​github.com

3. ICCV 2017的on demanding learning(感觉也是Context-Encoders的衍生版...) 

 链接：

On-Demand Learning for Deep Image Restoration， 

Github代码:

rhgao/on-demand-learning​github.com

 

4. SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion 

(CE中加入Global+Local两个判别器的改进)， 

Github代码:

1)https://github.com/satoshiiizuka/siggraph2017_inpainting​github.com

2)https://github.com/shinseung428/GlobalLocalImageCompletion_TF

  其中第二个实现稍微不同于原论文。但是展示效果非常棒。

5. ICLR 2018的New AI Imaging Technique Reconstructs Photos with Realistic Results 

Image Inpainting for Irregular Holes UsingPartial Convolutions  

号称秒杀PS的AI图像修复神器，来自于Nvidia 研究团队。引入了局部卷积，能够修复任意非中心、不规则区域），代码还没有放出来

[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions​arxiv.org

 

6. CVPR 2018的Generative Image Inpainting with Contextual Attention，

一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution,

 Github代码：

JiahuiYu/generative_inpainting​github.com

 

7. 哈工大左旺孟老师他们也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement 

效果也不错，代码还没有放

 

8.Deep image prior 

项目主页：https://dmitryulyanov.github.io/deep_image_prior

适用场景： 
1）难以建模图像退化过程 
2）难以得到训练图像进行监督训练 

 

9.

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作:

Contextual-based Image Inpainting​arxiv.org

 

10.ArXiv 2019 EdgeConnect：使用对抗边缘学习进行生成图像修复

论文链接：ArXiv | BibTex

项目地址：https://github.com/knazeri/edge-connect#testing

EdgeConnect，一种基于边缘补全的图像修复新方法,这篇文章将图像修复的工作分成了两个部分，首先利用利用启发式的生成模型得到了缺失部分的边缘信息，随后将边缘信息作为图像缺失的先验部分和图像一起送入修复网络进行图像重建。（from 安大略技术大学）

具体来说，作者们提出了一个二阶段生成对抗网络 EdgeConnect，它包括一个边缘生成器，然后是一个图像补全网络。边缘生成器在图像的缺失区域（规则和不规则）生成预测边缘，然后图像补全网络使用预测边缘作为先验填充缺失区域。研究者通过公开可用的数据集 CelebA、Places2 和 Paris StreetView 对模型进行端到端评估，并表明它在数量和质量上优于当前最先进的技术。

详见这里

 

11. ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，简称PGN，采用了由外至内的步进式修补策略，Github代码：

crashmoon/Progressive-Generative-Networks​github.com

 

 

12. NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick，

Github代码：

shepnerd/inpainting_gmcnn​github.com

 

13. CVPR 2019的Foreground-aware Image Inpainting, 思路类似于上面的工作，也是先推断生成轮廓边缘，辅助缺失区域进行修复，不知道上面的哥们看了这篇会是什么感受...速度也很重要啊...

Foreground-aware Image Inpainting​arxiv.org

 

 

14. CVPR 2019的Pluralistic Image Completion，

论文与Github代码：https://arxiv.org/abs/1903.04227​arxiv.org

 

lyndonzheng/Pluralistic-Inpainting​github.com

 

15. IJCAI 2019的MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting，武汉大学杜博老师组的工作（注：第一作者为我校计院的一名本科生...广大CV狗瑟瑟发抖!）。引入一个多尺度的上下文注意力模块，避免信息滥用/误用导致的纹理模糊等问题,损失函数部分联合了风格损失、感知损失、对抗损失，来保证补绘内容的一致性和清晰水平。

武汉大学地学智能感知与机器学习研究组​sigma.whu.edu.cn

 

16. ArXiv 2019的Coherent Semantic Attention for Image Inpainting，论文作者为@Kuma , 文中提出了一个全新的Attention模块，该模块不仅有效的利用了上下文信息同时能够捕捉到生成补丁之间的相关性。同时提出了一个新的损失函数配合模块的工作，最后利用一个新的特征感知辨别器对细节效果进行加强，代码过段时间会公开。

Coherent Semantic Attention for Image Inpainting​arxiv.org

 

KumapowerLIU - Overview​github.com

 

 

 

参考链接：

1.https://www.zhihu.com/question/56801298

2.https://blog.csdn.net/muyiyushan/article/details/79093806