StackGAN论文阅读

1.目标

完成把文本转化成高清图像的任务。

2.面对的困难

①现有的方法生成的样本会有细节缺失。②高分辨不容易被实现。如果只是在GAN模型中添加更多的上采样层来生成高分辨图像会产生无意义的输出。还有自然图像的分布与模型分布在高维空间上可能不会重叠。

ps:上采样主要目的：放大原图像，从而提高分辨率。

下采样主要目的：①使得图像符合显示区域的大小。②生成对应图像的缩略图。

3.完成的工作

1）提出了一种新的堆叠生成对抗网络，用于从文本描述合成照片真实感图像。它将生成高分辨率图像的难题分解为更易于管理的子问题，并显著提高了技术水平。StackGAN首次生成256*256分辨率，带有来自文本描述逼真细节的照片。

2） 提出了一种新的条件增强技术来稳定条件GAN训练，并提高了生成样本的多样性。

3） 大量的定性和定量实验证明了整体模型设计的有效性以及各个组件的影响。

4.StackGAN

本文将文本转化成图像的任务分为两部分：第一阶段，根据文本绘制物体的原始形状和基本颜色，并从随机噪声向量中绘制背景图，生成低分辨率的图像。第二阶段，修正第一阶段生成的低分辨率图像，再次读取文本来完成对象的细节，生成高分辨的图像。

1）条件增强技术（CA)

目的：改善生成图像的多样性，稳定conditional-GAN的训练过程，使得隐含条件更加平滑。

方法：文本描述首先由编码器编码，产生文本的embedding。以前的工作中，文本嵌入非线性的转化成为潜在条件作为生成器的输入。这样的做法中，文字的潜在空间的embedding通常是高维的，在数据有限的时候，数据流性通常是不连续的。这是不可取的。本文引入条件增强技术来产生额外的条件变量，这个条件变量不是固定的，是从独立的高斯分布随机的采样而来的。其中的平均值和对角协方差矩阵是文本embedding的函数。为了强化条件流行并避免过拟合，作者在训练时在生成器里添加了以下正则项：