本文继 去雨去雾去模糊篇 和 图像增强与图像恢复篇 之后,继续盘点CVPR 2020 中低层图像处理技术,本篇聚焦于图像修复(Image Inpainting)。
示例如下图:
图片来自 https://sites.google.com/site/gachoncvip/projects/image-inpainting
上图中被污损的图像(左)被修复为图像(中),右图为参考图像。修复时污损的mask是给定的。
该技术可用于修复老照片或者网络易丢包的图像传输等。因为其化腐朽为神奇的能力,经常见诸报端。
CVPR 2020 有 7 篇相关文献,技术上,因为GAN强大的图像生成能力被广泛使用。同时图像修复不再局限于2D图像,最有意思的是弗吉尼亚理工学院等发明的 3D Photography Using Context-Aware Layered Depth Inpainting 其对老照片在深度信息上进行修复,把定格的世界激活了!
华为提出的超高分辨率的图像修复方法 Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting 也非常吸引人,代码还开源了。
香港城市大学、微软等复活老照片的方法 Bringing Old Photos Back to Life 效果也非常赞。强烈推荐全屏看看视频结果。
图像修复也不是一套算法能通吃的,在特定领域还需要有特殊的考虑。特别值得一提的复旦大学发表的 Assessing Eye Aesthetics for Automatic Multi-Reference Eye In-Painting 论文,在眼部inpainting问题中引入美学评价,使修复结果更自然更具吸引力。
已经开源或者即将开源的论文,把代码地址也附上了。
大家可以在:
http://openaccess.thecvf.com/CVPR2020.py
按照题目下载这些论文