Text to Image(二)发展与基本方法
本系列是根据2021年的一篇论文《Adversarial Text-to-Image Synthesis: A Review》理解所写,主要在于总结和归纳基于GAN的“文本生成图像”(text to image)方向的研究情况。很多内容为个人理解,仅供学习参考。
论文地址:https://arxiv.org/abs/2101.09983
三、发展与基本方法
1、起源:GAN-INT-CLS和TAC-GAN
GAN-INT-CLS:输入TE后的文本和一定噪声,使用GAN的生成器拥有的图片合成能力合成一张图像传给辨别器,辨别器根据生成的图像和TE的文本来识别真假,这是初始最简单的模型。
TAC-GAN:在辨别器上面做出改动,他加了一个辅助分类任务y,从而辨别生成的图像是否符合y类。
文本理解采用:pre-trained char-CNN-RNN text encoder
y:TAC-GAN使用的一个辅助分类任务
φ:TE的文本,Embedding φ
z:噪声
TE:Text Encoder
2、栈的引入
2.1、StackGAN
StackGAN采用了两级的GAN,第一个生成器G0生成6464,第二个生成器G1在此基础上生成256256。
CA:Conditioning Augmentation(CA),一个文本理解模块
c:CA后的文本
z:噪声
φ:Embedding文本
CA:Conditoning Augmentation,一种条件增强技术,帮助在不同的分辨率下生成更一致的图像
2.2、StackGAN++
StackGAN++将级数提高到了多层,依然是逐级提高分辨率,但采用端到端的方式进行训练。
2.3、其他
FusedGAN、HDGAN、PPGAN、HfGAN,文章中也有介绍,这里暂时不展开。
2.4、创新与不足
改进:把生成高质量图片这个复杂问题,分解成了一些更好控制的子问题;
不足:输入是全局的句子向量,丢失了细粒度的单词级别的信息,即丢失了相应的细节。
3、注意力机制的引入
3.1、AttnGAN
AttnGAN是在Stack++GAN进行了延伸,加入了一个attention module来关注自然语言描述中的相关单词,进而合成图像不同子区域的细粒度细节。
w:单词特征 z:噪声 c:CA后的文本
attention module:包括word features和sentence features;
一个具体例子:
3.2、其他
SEGAN、ControlGAN,文章中也有介绍,这里暂时不展开。
3.3、创新
提出了一种注意力集中的多模态相似度模型,以计算出细粒度的图像-文本匹配损失。效果明显提高,在CUB数据集上比之前的最优结果提升14.14%,在更具挑战性的COCO数据集上提高了170.25%。
4、孪生(siamese)网络的引入
4.1、SD-GAN
SD-GAN的每个分支对不同的输入进行操作,采用对比损失来最小化由同一真实图像的不同描述生成图像的距离,同时最大化不同真实图像的生成图像距离。
简单的来说就是,设置两个并行的GAN,输入相同真实图像的不同文字描述,如果他们两个生成图像差不多则鼓励模型,如果生成的图像相差甚远则抑制。这样既可以提取出语义的一致性部分,又可以保留描述的多样性和细节部分。
举个例子:
4.2、其他
SEGAN、Text-SeGAN:在文章中有介绍,其增加一个与语义相近的真实图像距离处理、增加语义逐渐变难。
4.3、创新
提出了新的思路,而且SDGAN可以对描述文本中小的变化做出相应的改变。
5、循环(cycle)网络的引入
5.1、MirrorGAN
MirrorGAN:才有了循环的架构,使T2I–>I2T–>T2I–>I2T…加入了语义文本再生和对齐模块,以从生成的图像重新生成文本描述,使其在语义上与给定的文本描述对齐。达到文本和图像的语义一致性判别。
简单来说,MirrorGAN先从文本生成图像,然后以生成的图像重新再生成文本,使两次的文本尽可能的靠近。
如果一个模型具有语义一致性,那么从输入文本就应该与文本生成图像再生成的文本一致。
举个例子:
5.2 创新
解决文本和视觉之间语义一致性,COCO 数据集上成绩最佳,生成的高质量图像具有与输入文本描述一致的语义。
6、记忆(memory)网络的引入
6.1、DM-GAN
DM-GAN,添加一个记忆机制,来处理 badly-generated initial images,将初始图像和单词特征作为输入,比较文本和图像特征计算每个单词的重要性,引入一个 memory writing gate 来动态的选择和产生图像相关的单词
6.2、创新
1)提出一个新颖的 GNA model 组合了 dynamic memory component 来产生高质量的图像,即使初始图像很差;
2). 提出一个 memory writing gate 来根据初始图像,选择相关的单词;
3). 提出 response gate 来自适应的融合来自图像和记忆中的信息;
4). 实验结果顶尖;
7、无条件模型的引入
7.1、StyleGAN
z:噪声 c:文本特征 w:中间级潜在特征
基于风格驱动,每次加入noise控制风格和潜在语义,即可以生成更加多样化的图像。
7.2、创新
提高了图像的多样性:对高级属性和随机变化(的多样性)方面的分离、中间潜在空间的线性研究增进了我们对GAN的理解和可控性生成。
下一篇:Text to Image综述阅读(1.3)度量标准与未来研究方向 Adversarial Text-to-Image Synthesis: A Review(基于GAN的文本生成图像)