CVPR 2020 论文大盘点-图像修复Inpainting篇

转自：https://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247519592&idx=2&sn=3a0598c9f52e47929678a572ea451d98&chksm=96f0ff3ca187762a107b4b9194e862b757d3d943ec399b35cbb7576cd92ee55cc648d7121ac3&scene=21#wechat_redirect

本文继 去雨去雾去模糊篇 和 图像增强与图像恢复篇 之后，继续盘点CVPR 2020 中低层图像处理技术，本篇聚焦于图像修复（Image Inpainting）。

 

示例如下图：

 

图片来自 https://sites.google.com/site/gachoncvip/projects/image-inpainting

 

上图中被污损的图像（左）被修复为图像（中），右图为参考图像。修复时污损的mask是给定的。

 

该技术可用于修复老照片或者网络易丢包的图像传输等。因为其化腐朽为神奇的能力，经常见诸报端。

 

CVPR 2020 有 7 篇相关文献，技术上，因为GAN强大的图像生成能力被广泛使用。同时图像修复不再局限于2D图像，最有意思的是弗吉尼亚理工学院等发明的 3D Photography Using Context-Aware Layered Depth Inpainting 其对老照片在深度信息上进行修复，把定格的世界激活了！

 

华为提出的超高分辨率的图像修复方法 Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting 也非常吸引人，代码还开源了。

 

香港城市大学、微软等复活老照片的方法 Bringing Old Photos Back to Life 效果也非常赞。强烈推荐全屏看看视频结果。

 

图像修复也不是一套算法能通吃的，在特定领域还需要有特殊的考虑。特别值得一提的复旦大学发表的 Assessing Eye Aesthetics for Automatic Multi-Reference Eye In-Painting 论文，在眼部inpainting问题中引入美学评价，使修复结果更自然更具吸引力。

 

已经开源或者即将开源的论文，把代码地址也附上了。

 

大家可以在：

http://openaccess.thecvf.com/CVPR2020.py

按照题目下载这些论文。

 

如果想要下载所有CVPR 2020论文，请点击这里：

CVPR 2020 论文全面开放下载，含主会和workshop

 

基于无监督跨空间转换的多样化图像修复

[1].UCTGAN: Diverse Image Inpainting Based on Unsupervised Cross-Space Translation

作者 | Lei Zhao, Qihang Mo, Sihuan Lin, Zhizhong Wang, Zhiwen Zuo, Haibo Chen, Wei Xing, Dongming Lu

单位 | 浙江大学

 

 

用于超高分辨率图像修复的上下文残差聚合

[2].Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting

作者 | Zili Yi, Qiang Tang, Shekoofeh Azizi, Daesik Jang, Zhan Xu

单位 | 华为技术有限公司（加拿大）

代码 | https://github.com/Ascend-Huawei/Ascend-Canada/tree/master/Models/Research_HiFIll_Model

备注 | CVPR 2020 Oral 

 

 

 

图像修复的递归特征推理

[3].Recurrent Feature Reasoning for Image Inpainting

作者 | Jingyuan Li, Ning Wang, Lefei Zhang, Bo Du, Dacheng Tao

单位 | 武汉大学；悉尼大学

代码 | https://github.com/jingyuanli001/RFR-Inpainting

 

 

恢复深度信息，让老照片3D动起来

[4].3D Photography Using Context-Aware Layered Depth Inpainting

作者 | Meng-Li Shih, Shih-Yang Su, Johannes Kopf, Jia-Bin Huang

单位 | 弗吉尼亚理工学院暨州立大学；清华大学（新竹）；Facebook

代码 | https://github.com/vt-vl-lab/3d-photo-inpainting.git

主页 | https://shihmengli.github.io/3D-Photo-Inpainting/

解读 | 老照片的复活，焕发生机与跃然纸上！这篇CVPR2020的论文彻底火了

 

 

 

老照片也能有 3D 效果！

 

基于GAN的语义修复

[5].Prior Guided GAN Based Semantic Inpainting

作者 | Avisek Lahiri, Arnav Kumar Jain, Sanskar Agrawal, Pabitra Mitra, Prabir Kumar Biswas

单位 | 印度理工学院；微软

 

 

[6].Bringing Old Photos Back to Life

作者 | Ziyu Wan, Bo Zhang, Dongdong Chen, Pan Zhang, Dong Chen, Jing Liao, Fang Wen

单位 | 香港城市大学；微软亚洲研究院；Microsoft Cloud + AI；中国科学技术大学

主页 | http://raywzy.com/Old_Photo/

备注 | CVPR 2020 Oral

相关 | CVPR 2020丨图像超清化+老照片修复技术，拯救你所有的模糊、破损照片

解读 | CVPR 2020 Oral｜效果超群的老照片“复活”算法

 

修复效果：

 

 

相关视频：

 

 

眼睛是心灵的窗口，也是面部最具吸引力的部位，该文提出一种针对眼部inpaint任务的眼部美学评估方法，在其引导下可以生成更加自然更具吸引力的眼部inpaint结果，超越商业软件Adobe Photoshop Elements的效果。

[7].Assessing Eye Aesthetics for Automatic Multi-Reference Eye In-Painting

作者 | Bo Yan, Qing Lin, Weimin Tan, Shili Zhou

单位 | 复旦大学

 

（a）为待修补的图像，（b）为Photoshop的结果，（d）为该文结果

 

推荐阅读：

 

• CVPR 2020 论文大盘点-去雨去雾去模糊篇

• CVPR 2020 论文大盘点-图像增强与图像恢复篇

• CVPR 2020 论文大盘点-超分辨篇

• CVPR 2020 论文大盘点-目标检测篇

• CVPR 2020 论文大盘点-人脸技术篇

• CVPR 2020 论文大盘点-目标跟踪篇

• CVPR 2020 论文大盘点-文本图像篇

• CVPR 2020 论文大盘点-语义分割篇

• CVPR 2020 论文大盘点-实例分割篇

• CVPR 2020 论文大盘点-图像分割完整篇

• CVPR 2020 论文大盘点-抠图Matting篇

• CVPR 2020 论文大盘点-行人检测与重识别篇

• CVPR 2020 论文大盘点-全景分割与视频目标分割篇

• CVPR 2020 论文大盘点-医学影像处理识别篇