StackGAN论文阅读笔记

参考

https://blog.csdn.net/qq_29367075/article/details/110790291

https://www.jianshu.com/p/1aa3023e7e17

 

 

创新点

 

• 提出多尺度的GAN

• • Stage-I GAN

  • Stage-II GAN

 

Stage-I GAN 主要是根据文本描述抓取目标物体的主要形状轮廓和一些基础色块，生成低分辨率的图片。

Stage-II GAN 修正Stage-I生成的低分辨率图片，并且根据再次阅读文本描述完善细节，生成高分辨率图片。

 

 

 

 

 

 

• Conditioning Augmentation(条件增强技术)

 

如果直接把 φ(t) 放入生成器，这个特征空间的维度一般比较高（>100）而训练数据是有限的，所以会造成特征空间不连续，不利于生成器的训练

作者提出的Conditioning Augmenetation是从独立的高斯分布 N(μ(φt) , Σ(φt)) 中随机采样得到隐含变量，再放入生成器。其中 μ(φ(t)) 和 Σ(φ(t)) 是关于 φ(t) 的均值和方差函数。

为了增强平滑度和避免过拟合，为生成器的损失函数增加了以下的正则项

 

 

 

 

 

 

Stage-I GAN

文本描述提取出的嵌入向量φ(t)，经过Conditioning Augmentation(CA) 层后，得到条件C0-hat。

生成器G0：C0-hat和服从N(0~1)分布的噪声z拼接，作为生成器G0的输入，进行上采样操作，G0输出的是64*64的图像，此图像很模糊，只有物体大致的轮廓和颜色。

判别器D0：以G0生成的图像和真实的64*64的图像一同作为输入，进行下采样操作，输出4*4*512维的tensor，与空间上复制成4*4*128维的嵌入向量φ(t)在通道维度上拼接，得到的tensor被送到1*1的卷积层，最后使用只有一个节点的完全连接的层产生判别结果。

Loss函数

 

 

 

 

Stage-II GAN

文本描述提取出的嵌入向量φ(t)，经过Conditioning Augmentation(CA) 层后，得到条件C-hat。

生成器G： Stage-I生成的64*64的图像，经过下采样操作，生成16*16*512维的tensor，与空间复制成16*16*128的C-hat拼接，经过一系列的残差块，在进行上采样操作，生成256*256的图像。

判别器D：以G生成的图像和真实的256*256图像一同作为输入，进行下采样降维操作，输出4*4*512维的tensor，与空间上复制成4*4*128维的嵌入向量φ(t)在通道维度上拼接，得到的tensor被送到1*1的卷积层，最后使用只有一个节点的完全连接的层产生判别结果。

Loss函数

残差块被设计学习跨文本和图片的多模态表示

 

 

 

 

评价指标：Inception Score

 

 这个指标背后的含义是：好的模型应该产生多样但有意义的图像，因此，边际分布 p(y) 和条件分布 p(y∣x) 之间的KL散度应该很大。

 x 表示一个生成的样本， y 是由Inception模型预测的标签

生成的图片是否清晰、图片是否多样

清晰度：生成的图片x属于类别y的概率p(y|x)。一张清晰的图片，这个概率应该很大，对应的熵越小

多样性：如果一个模型能生成足够多样的图片，那么它生成的图片在各个类别中的分布应该是平均的， p(y) 熵很大

两个概率分布之间应该相差很大，所以KL散度的值也应该越大，因此IS的值越大越好