High-Fidelity Image Inpainting with GAN Inversion

Yongsheng Yu1,2, Libo Zhang1,2,3⋆, Heng Fan4, and Tiejian Luo21 Institute of Software, Chinese Academy of Sciences2 University of Chinese Academy of Sciences3 Nanjing Institute of Software Technology4 Department of Computer Science and Engineering, University of North Texasyuyongsheng19@mails.ucas.ac.cn; libo@iscas.ac.cn; heng.fan@unt.edu;tjluo@ucas.ac.cn

原文链接：[2208.11850] High-Fidelity Image Inpainting with GAN Inversion (arxiv.org)

摘要：

图像修复是一种语义一致的方法，可以根据其未屏蔽的内容恢复损坏的图像。以前的方法通常在生成真实补丁之前重用训练有素的 GAN 并有效，以便使用 GAN 反演丢失孔。然而，这些算法中对硬约束的无知可能会产生GAN反演和图像修复之间的差距。为了解决这个问题，在本文中，我们设计了一种新的用于图像修复的 GAN 反演模型，称为 InvertFill，主要由具有预调制模块和具有 F&W+ 潜在空间的 GAN 生成器的编码器组成。在编码器中，预调制网络利用多尺度结构将更具辨别力的语义编码为样式向量。为了弥合 GAN 反向（理解参