图像补全_全局细节统统修复——StructureFlow重建新算法实现高性能图像修复

From:arxiv 编译:T.R

图像修复技术对于众多修图软件来说十分重要，在深度学习的帮助下图像修复算法的功能越来越强大，甚至对于大幅度污损的照片也能轻松修复。但目前的很多算法在进行图像修复时却面临着结构重建问题或细节问题修复问题的困难，修复结果不尽如人意。

为了解决这一问题，来自北大、鹏城实验室和腾讯的研究人员提出了一种新的算法StructureFlow，将图像修复的过程分为边缘保持的低频结构重建和基于结构的高分辨率纹理重建，并利用流的方法充分利用未受损像素的信息实现有效的纹理补全和图像修复。

图像修复的主要目的在于为图像中的有效区域和污损区域生成出视觉效果完整的结构和细节，用户不仅可以利用这一技术修复图像的缺失，还可以将它用于图像编辑和物体去除等任务。图像修复最大的难点在于生成正确完整的结构和视觉效果较为真实的细节纹理。

已有的图像修复方法

现存的方法主要可以分为两大类——基于扩散的方法和基于图像片的方法。

基于扩散的方法主要通过将领域的信息传播到缺失的位置来实现纹理合成，然而这种方法只能处理一些较小的孔洞，对于较大范围的结构缺失则无法有效处理。

而基于图像片的方法则不仅仅只利用缺失位置附近的像素点，这种方法可以有效利用更远位置的信息来恢复缺失区域。基于图像片的方法通过搜索与污损区域结构相似的目标区域，并复制图像片来重建缺失区域，这种方法可以为较大的缺失区域生成视觉效果真实纹理。这种方法一般基于双线性相似性的方法来搜索合适的图像片。

但基于片元的方法主要假设非污损区域包含了与污损区域语义相似的内容，但如人脸检测等任务中这种假设并不成立。这种方法在某些有重复性结构的图像中表现良好，但对于具有特殊结构的图像则无法有效处理。
近年来随着深度学习的发展，很多方法将图像修复问题视为一个条件生成问题，将污损图像作为网络输入得到修复后的图像。基于深度学习方法的优势在于可以将图像中的有效语义信息进行抽取，并生成新的图像。

人们提出了包括基于自编码器架构、处理全局和局部内容的判别器、构建长程相关性、选择性利