Generative Adversarial Text to Image Synthesis --- 根据文字描述生成对应的图片

最新推荐文章于 2024-07-09 10:22:46 发布

Hungryof

最新推荐文章于 2024-07-09 10:22:46 发布

阅读量9k

点赞数 4

分类专栏： Paper Reading Deep Learning 深度学习论文阅读文章标签： GAN DL deep-learning

本文链接：https://blog.csdn.net/Hungryof/article/details/76166980

版权

该博客介绍了使用Generative Adversarial Networks (GANs)结合文本嵌入来根据文字描述生成对应图片的技术。文章讨论了GAN-CLS和GAN-INT架构，解释了如何利用文字向量在生成器(G)和判别器(D)中发挥作用，以确保生成的图像符合文本描述。此外，还探讨了z向量在控制生成内容风格多样性中的作用，并总结了通过特征可视化增强模型生成能力和多样性的方法。

摘要由CSDN通过智能技术生成

总说

简单的说就是根据文字进行生成相应的图片。
先看效果：
这里写图片描述

架构

这里写图片描述
这里首先用一个 text embedding网络来将文字转换为向量， $\phi(t)$ 是1024维的向量，然后投影成128。并将这128向量分别加入到G和D网络中。在G中直接concat到后面，而D中由于中间出来的是spatial size是4x4大小的，所以直接复制4x4份，后面concat上去。
因为普通的GAN就是一个 $z$ 直接生成图片，但是这里是要让生成的图片符合 $t$ 的描述。因此显然要把 $t$ embedding成向量，然后加入 $z$ 中。有意思的是，这里D也加入了 $\phi(t)$ ，个人觉得这类似CGAN。
然后作者提出了GAN-CLS以及GAN-INT.

GAN-CLS

如果是普通的GAN，那么D只要负责看G的生成图片是真是假就行。但是这里的任务是要让G生成符合 $t$ 描述的图像。因此D担负着两个任务：
1. 判断G生成的图片是真是假
2. 判断生成的图片是否符合 $t$ 的描述。
所以：
这里写图片描述
与普通GAN不同的是，这里多了一种错误情况，即看上去挺真的，但是对应的描述 <