GLANN笔记

Another url：https://bulihanjie.github.io/2019/03/19/GLANN笔记/

摘要

虽然生成对抗网络（GANs）在图像生成的任务中大放异彩，但依然存在着各种各样的问题。论文中参考GLO和IMLE模型，提出非对抗式的图像生成模型GLANN，克服了GANs的缺点，得到了不错的效果。

参考资料

• Hoshen Y, Malik J. Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors[J]. arXiv preprint arXiv:1812.08985, 2018.
• Li, K., & Malik, J. (2018). Implicit Maximum Likelihood Estimation. Retrieved from http://arxiv.org/abs/1809.09087
• Bojanowski, P., Joulin, A., Lopez-Paz, D., & Szlam, A. (2017). Optimizing the Latent Space of Generative Networks. https://doi.org/10.1021/ja00066a057

介绍

图像生成的定义即是：给定有限的图像训练样本学习得到能生成整个图像分布的函数。
GANs由于其鲁棒的生成能力，能够把无监督学习的任务转化为一个有监督的学习任务，能够适用于各种图像任务中，如不同域之间的无监督图像转换、生成超分辨率图像等。但GANs依然存在以下两个问题：

1. 难训练：训练过程不稳定、训练突然崩溃和对超参数敏感。通常可以考虑降低判别器的性能或者换更好的损失函数来缓解这方面的问题。
2. 模式丢失：只能建模目标分布的某些模式而不是全部。实践中容易发现，生成器可能会只生成某几种样式的图片，使得图片的多样性降低。
   因此，有相关的工作被提出来，使用非对抗式的图像生成模型，能够捕捉训练集中所有的模式，并且也能够得到效果不错的图片。

GLO介绍

GLO（Generative Latent Optimization）模型通过学习隐变量到图片的映射函数，最终能够得编码所有模式（每个图片有对应的隐变量编码得到），具有以下的优点：

1. 无编码丢失地编码整个分布；
2. 隐含编码之间的欧几里德距离对应于形义方面的含义差异；
3. 隐含编码的分布未知，如果随机的从一个分布中采样的隐含变量计算得到的图像较差。

GLO算法具体如下图所示， 对于所有的图片都赋予一个隐变量$z_i$，模长限定为1。然后通过一个CNN的网络得到图片，然后采用Lap1 loss来进行优化。其中loss函数是
$${\mathrm{Lap}}_1\left(x,x^{\prime }\right)=\sum _j{2}^{-2j}{\left|L^j(x)-L^j\left(x^{\prime }\right)\right|}_1$$

考虑生成图像和真实样本之间不同维度间的差异。并且每个图片$x_i$通过训练有对应的$z_i$