UCTGAN: 基于无监督跨空间转化的多样性修复（2020 CVPR）

问题

        如何以实例图像引导重建为条件进行多元图像修复，并且最大化训练数据集变分下界的条件似然对数？

---

创新点

1. 提出了用实例图像引导多元修复的模型框架，模型可以学习掩码图像的分布，并合成修复结果。

2. 提出跨语义注意力层，确保图像的外观和与结构一致。

---

方法

        提出了UCTGAN（无监督跨空间转化条件生成对抗网络），两个编码器网络将实例图片和受损图片投影到低维流形空间，然后跨语义注意力层将低维空间特征结合，最后，生成器计算出条件重构图像。损失函数由四部分组成。首先，在像素级和特征级，是已知区域的L1范数最小。第二，KL散度将示例图片和掩码图片的低维流形特征映射为多元正态分布。此外，还增加了实例图像和真实图像在低维空间的L1范数。最后，以生成对抗网络训练模型，且判别器在图像空间对图像进行判别。