CRFill：Generative Image Inpainting with Auxiliary Contextual Reconstruction论文阅读笔记

 

 

 - ICCV 2021

- 提出问题：当前inpainting任务中缺乏对缺失区域与已知区域之间对应关系的监督信号，可能无法找到合适的参考特征，这往往会导致结果中的伪影。

 -本文主要工作：①提出了一个辅助上下文重建任务（训练CR loss），训练网络学习已知区域和缺失区域之间patch的相似性   

 - 网络结构

 

主要工作：

Generative inpainting network生成网络

  ① 利用PathchGAN discriminatpr 网络生成对抗进行训练，该部分是的损失函数为：

         其中D为判别器，G为生成器，U为失真图像，M为mask（1代表invalid，0代表valid）

   ②coarse to fine generator 由粗到细的生成器

        生成器部分与deepfillv2相似，差别就在于移除了CA层，并加入了CRloss。

        在coarse阶段，作者希望它能够学习到全局特征，所以只用在coarse阶段只使用了L1 loss。

        在refine阶段，为了能使网络学习到更多细节，使用了l1 loss，adversarial loss 和作者提出的CR loss。refine 阶段的损失函数如下：

         其中Y代表refine的输出，Lcr代表CR loss。

Contextual reconstruction 上下文重建 

        基于注意力的inpainting方法需要将patch-borrowing的方式加入生成器当中，但如果选取的区域不对，则会导致图像出现伪影。这些伪影是基于来自参考区域的特征而产生的，因此类似于它们在图像空间中的外观。

        基于上述的结论，我们提出了一种CR Loss，通过最小化由已知区域的图像补丁组成的辅助结果的对抗性损失来鼓励网络找到最优参考区域。之前提出的方法都是将patch-borrow（我个人理解为算出注意力之后，根据注意力权重重新组合特征图）直接嵌入到生成器中。CR loss不一样，它是直接通过loss的方式将信息传递给 attention-free没有注意力的生成器。

         Contextual reconstruction Loss

        CR Loss计算方式如下图所示：

         训练系统由一个相似性编码器和一个辅助的encoder-decoder网络组成。

        其中相似性编码器的输入为refine network encoder的特征，然后生成区域之间的相似性分数图。辅助编码器解码器网络生成辅助图像，其中已知区域不变，而缺失区域根据相似性编码器提供的相似性填充相似的已知区域。

        CRLoss定义为辅助图像的L1 loss和adversarial loss。通过最小化CR loss以此鼓励refine 网络生成器生成与参考区域联系紧密的图像。

相似性编码器的计算如下：

计算patch之间的相似性：

 辅助编码器解码器网络生成辅助图像，其中已知区域不变，而缺失区域根据相似性，用已知区域中patch的加权和替换。

 

       再进行解码，得到辅助输出图像

 CRLoss定义为辅助图像的L1 loss和adversarial loss。通过最小化CR loss以此鼓励refine 网络生成器生成与参考区域联系紧密的图像。