2021-CVPR-Inpainting论文导读

一、TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations

1. 模型介绍与改进

Inpainting研究可以分为两类:传统的方法是通过传播颜色或匹配块，深度的方法是学习语义和纹理从大型图像数据集。一些传统的方法通过各向异性扩散或求解偏微分方程来传播像素颜色。这种方法适用于薄孔洞区域，但随着孔洞区域的增大，它们往往会导致过度模糊。基于patch的图像补绘方法的工作原理是在图像的其他地方找到相似的匹配，并复制得到的纹理。这些方法往往会产生高质量的纹理，但可能会给出难以置信的结构和语义。


This paper的主要贡献是:
（1）我们提出了TransFill，一个多单应性估计管道，以获得源图像的多个变换，每个变换将特定的区域对准目标图像;
（2）我们提出学习颜色和空间转换器，同时进行颜色匹配和逐像素空间变换，以解决初始对齐后的残留差异;
（3）我们学习适合于将所有最终方案与单个图像嵌入结果相结合的权重。