总说
简单的说就是根据文字进行生成相应的图片。
先看效果:
架构
这里首先用一个 text embedding网络来将文字转换为向量, ϕ(t) 是1024维的向量,然后投影成128。并将这128向量分别加入到G和D网络中。在G中直接concat到后面,而D中由于中间出来的是spatial size是4x4大小的,所以直接复制4x4份,后面concat上去。
因为普通的GAN就是一个 z 直接生成图片,但是这里是要让生成的图片符合
然后作者提出了GAN-CLS以及GAN-INT.
GAN-CLS
如果是普通的GAN,那么D只要负责看G的生成图片是真是假就行。但是这里的任务是要让G生成符合 t 描述的图像。因此D担负着两个任务:
1. 判断G生成的图片是真是假
2. 判断生成的图片是否符合
所以:
与普通GAN不同的是,这里多了一种错误情况,即看上去挺真的,但是对应的描述 <