【Image Processing Using Multi-Code GAN Prior 多码先验GAN】学习笔记

一、背景

无监督的GAN中，生成器G将噪音变量z映射到想要的真实图像x，但由于没把真实的图像作为输入，即没有使用训练好的模型进行后续的图像处理。

为了让训练好的GAN能用于处理图像，现有如下两种方法将真实图像x映射到噪音空间z：

1. 重新反向传播（寻找合适的Z）
2. 添加一个额外的编码器encoder

但多数情况下上述两种方式的重建并不理想，对此本文提出一种新的逆映射（x->z）的方法：将训练好的GAN作为一个有效的先验去对后续的图像进行处理。

二、多码先验GAN介绍

1. 使用给定做逆映射的GAN模型，将噪声z生成多个特征图（映射到生成器G中的某个中间层）
2. 计算生成的多个特征图的重要系数，并组合生成目标图像

优势：显著提高图像的重建质量，可以使得训练好的GAN作为一种先验应用于许多真实场景下的应用，例如：图像上色、超分辨率、图像修复、图像语义物体编辑等。

三、关键技术

1.GAN逆映射（GAN inversion）

无监督的GAN：从噪音空间z中采用合成高质量图像，z->image

GAN逆映射：为了恢复目标图像而寻找合适的噪音空间z，image->z

2.特征组合

单码的缺陷：

• 分别使用face、church、conference room、bedroom四个数据集预训练PGGAN，并以此作为先验。使用单码去重建时，很难“覆盖先验”，出来的结果会呈现原训练集图像内容，而无法重建到目标图像。
• 由于使用单码去重建目标图像的所有细节很难，对此使用多码的方式，可以将复杂任务进行细化地重建。

如何将多码结合一起优化，进行融合后重建？将生成器“分为”两部分，G1和G2，L是中间某层的特征输出，提出“自适应通道重要性”（Adaptive Channel Importance）。

 3.优化目标

重建损失使用的是MSE和VGG的感知损失距离：

四、应用

1.图像上色

2.图像超分

3.图像修复

参考：

CVPR2020之多码先验GAN：预训练模型如何使用？_公众号机器学习与生成对抗网络的博客-CSDN博客