AttnGAN论文阅读笔记 Text to Image

 参考 https://blog.csdn.net/weixin_43460876/article/details/116109135

         https://blog.csdn.net/weixin_43551972/article/details/90454166

 

 

• 引入 Attentional Generative Network，可以通过关注自然语言描述中的相关单词来合成图像不同子区域的细粒度细节。

 

• 提出DAMSM，计算细粒度图像-文本匹配损失，用于训练生成器。

模型结构图

Attentional Generative Network

        之前的text2img都是对整个句子进行encode，缺少细粒度的单词级别的信息。

        AttnGAN提出了一种新的注意力模型，以单词为条件生成图片的子区域，这些所用到的单词，都是和图像最相关的。 

        在AttnGAN中，有m个生成器G，生成器之间有hidden states隐藏状态h，除第一个G之外，每个G的输入都为上一层的h，多个G生成从小到大尺寸的image。整个过程如下所示：

1. 将文本embedding得到word features和sentence features;
2. 利用sentence features生成一个低分辨率的图像；
3. 在低分辨率的图像上进一步加入word features和sentence features来生成更高分辨率的图像。

 

生成低分辨率图像

 

        输入：来自标准正态分布的噪声z、条件增强后的文本的sentence features（，整个句子的向量）

生成细粒度图像

        的每一列，是图像每个子区域的特征向量

        表示经过G后，生成的图像

        表示的是神经网络</