GAN & GAN Inversion

GAN

1. 《A Style-Based Generator Architecture for Generative Adversarial Networks》

GAN Inversion & Latent Code

1.《Interpreting the Latent Space of GANs for Semantic Face Editing》-- CVPR2020

对GAN的latent space进行解释，认为生成图片的年龄，性别等每个属性，在latent space是线性可分的，存在一个超平面将两者分开。故根据不同属性的超平面方向进行移动，可进行一个属性的编辑和多个属性互不干扰的编辑。

2. 《In-Domain GAN Inversion for Real Image Editing》–ECCV2020

提出了新的融合learning based 和 optimizing based方法进行GAN Inversion,
旨在加强对编码进行语义空间的约束。

3. 《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》–CVPR2021

通过PSP结构获取stylelGAN的初始图像编码

4. 《Towards Real-World Blind Face Restoration with Generative Facial Prior》

借用StyleGAN模型蕴含的人脸先验，来恢复图像。通过Encoder-decoder结构获取latent编码和spatial特征送到pretrained StyleGAN,二者通过channel-split SFT(spatial feature transform)融合。
SFT结构如下：

Channel-split SFT结构:

5. 《Generative Hierarchical Features from Synthesizing Images》-- CVPR 2021

类似于GAN Inversion, 但抽取的不是一个编码而是多层特征（Generative Hierarchical Features)，论文证明该特征可辅助多个生成和判别任务。

6 .《Repurposing GANs for One-shot Semantic Part Segmentation》

利用生成器提取图片的特征表示，指导few-shot的的segmentation。

7. 《GLEAN: Generative Latent Bank for Large-FGLEAN: Generative Latent Bank for Large-Factor Image Super-Resolutionactor Image Super-Resolution》

利用GAN的先验进行超分任务，设计Encoder-Bank-Decoder 的结构，更好的融合了GAN的多尺度空间特征。

8. 《Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization》

训练GAN同时合成图像和对应语义标签，实现半监督语义分割任务。
训练阶段：仅利用GAN loss训练GAN， 利用少量有标签数据的分割loss和大量无标签数据的重构loss训练Encoder。
测试阶段：利用GAN inversion得到输入图片的编码送入生成器得到分割结果。