2021-CVPR-图像修复论文导读《Image Inpainting Guided by Coherence Priors of Semantics and Textures》

1. 总导读：

以往Inpainting出现了基于语义的方法以及基于纹理的方法，但是将二者分立来看会导致荒谬的结果以及边缘的模糊。比如，仅通过轮廓是肯定绘制不出动物的皮毛那种感觉的，也肯定绘制不出绿色的感觉。因此这篇论文在相干先验（尽可能使纹理与语义具有一致性）的基础上引入了语义与纹理相结合的方法。并采用重建损失、对抗性损失和相干性损失来提高图像的逼真度。采用交叉熵损失来保证预测分割图的准确性。

2. 详细介绍：

本文提出了两种新的设计方法:
（1）使用语义智能注意传播(SWAP)模块显式捕获未知区域(缺失区域)与已知区域之间的语义相关性;因此，当语义映射到图像纹理时，填充一个未知的patch只指代那些语义相同的已知patch，而不是整个图像，避免了不相关的纹理填充。
（2）设计了两个损失项（如下图所示）来学习全局和局部的一致性关系。利用图像级结构相干损耗监督图像与相应分割图之间的结构匹配，生成清晰的图像边界。此外，非局部斑块级的一致性损失旨在评估斑块纹理在语义域中的分布，以鼓励生成的纹理与匹配的已知相同语义的斑块相似。