干货！基于单一参考图的图像填充技术

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

图像填充（image inpainting）旨在从缺失的图片目标区域中合理地恢复内容，以使图片恢复至未缺失之前的状态。大多数现有的技术利用图像中存在的内容相似性，或大规模数据中学习的语义和纹理信息来填充图片的缺失部分。但现有的技术在面对大面积缺失时表现不佳：一方面很难恢复图像的原有语义，另一方面很容易产生人工生成的痕迹。然而，如果有另外的一张相同场景的参考图作为依据，我们就可以把图片填充问题转变为图片融合及生成问题。此类技术有着未被人充分关注但颇具潜力的应用价值，源于我们通常有着一景多拍的拍摄习惯和大量的参考图片。此次介绍Adobe Photoshop团队发表于CVPR2021的研究成果TransFill，利用一种多个单应变换(Muli-Homography) 、多个色彩及空间(color-spatial) 变换的融合方法，使用参考图中的内容对目标图进行填充。此方法结合了深度检测、图片配准、深度学习的图片空间变换和颜色匹配、单图填充等最优方法，以实现对参考图内容的重用。模型在具有颜色差和视差的成对的用户图像上亦得到了最优的填充效果。

嘉宾介绍

周宇乾：

美国伊利诺伊香槟分校(UIUC) 在读博士，曾师从已故计算机科学家Thomas Huang (黄煦涛)教授。本科和硕士毕业于香港科技大学，是港科大2015年度学术成就奖获得者。曾在旷视科技，微软研究院和Adobe实习。发起和组织了ICCV/ECCV有关真实世界低质量输入识别和检测的子会议(RIQ2019/2020) 及相关世界挑战赛。主要研究方向为图像修复，图像生成，低质量图片分析，医学图像分析，情感计算和人机交互等，研究成果发表于CVPR/ICCV/AAAI/MICCAI等。

个人主页: https://yzhouas.github.io/。

背景介绍

1

什么是图像填充技术？

我们很可能遇到这样一种情况：在一张图片中有的部分我们不想让它出现。一般情况下我们会选择为它打上马赛克，但这个时候是能看出来这个部分是被挡住的。那有没有一种技术在我们在看起来没有人为操作的情况下把不想在图片中出现的目标消除呢？图像填充就是主要负责解决这个问题的。除此之外，图像填充还有一些其他的应用场景，比如一些古老相片的修复，图像编辑任务等。

图1 图像填充的应用举例：(a)目标消除，(b)图像修复，(c)图像编辑

下面列举了图像填充任务中可能遇到的图片。比如自然景观：山川河流等，人造建筑。这类图片相对来说会复杂一点，因为有更复杂的结构。

图2 图像填充任