文本生成图像简要回顾 text to image synthesis

最新推荐文章于 2025-03-24 22:23:07 发布

mohole_zhang

最新推荐文章于 2025-03-24 22:23:07 发布

阅读量1.5w

点赞数 16

分类专栏： survey summary 文章标签：深度学习计算机视觉文本生成图像

本文链接：https://blog.csdn.net/mohole_zhang/article/details/89374420

版权

摘要

文本生成图像作为近几年的热门研究领域，其解决的问题是从一句描述性文本生成与之对应的图片。近一周来，我通过阅读了近几年发表于顶会的近10篇论文，做出本文中对该方向的简要报告。报告中主要阐述了近几年最流行的解决方案——以GAN思想为主干的解决方案。首先我对现有方法进行了简单回顾，之后针对这些方法做出了自己的总结，将各方法中用来提升生成效果的方式归纳为“增加网络深度”、更加充分地利用文本信息及通过增加额外约束三种。继而又提出当前方法存在的不足以及自己对今后如何改进的简单思考。

1．简介

从文本生成图像是近几年的热门研究领域，其主要任务是从一句描述性文本生成一张与文本内容相对应的图片。主流方法有VAE(Variational Auto-Encoder)，DRAW（Deep Recurrent Attention Writer）以及GAN等，其中GAN在近几年的研究中成为了最热门的方法，在大部分顶会论文中都用到了GAN的思想来完成图像的生成工作。无论使用何种GAN，都先对自然语言文本进行处理得到文本特征，进而以该文本特征来作为后续图片生成过程的约束。在GAN中生成器Generator根据文本特征生成图片，继而被鉴别器Discriminator鉴定其生成效果，根据鉴别器的鉴定结果生成器再次生成更真实的图片，鉴别器则再次对新图鉴定，以此类推，迭代进行直到网络收敛。

2．现有方法回顾

在2016年以前，VAE和DRAW方法都被用来完成图像生成工作，VAE以一种统计方法进行建模最大化数据的最小可能性来生成图像，而DRAW方法使用了循环神经网络，并利用注意力机制，每一步关注一个生成对象，依次生成一个patch并叠加出最终结果。其中Mansimov, Elman, et al [3] 提出的AlignDRAW在传统DRAW的基础上加入了文本对齐，从而完成了文本到图像的任务。如图1，该模型使用一个双向循环神经网络(BiRNN)作为文本编码器（图1左），将文本信息从正反两个方向编码为一个文本向量特征(text embedding)用于后面DRAW部分的文本对齐，DRAW部分又有两部分构成，Inference和Generative，Inference部分从输入图片和文本特征中逐步生成隐藏信息给Generator，Generator又从隐藏信息和对齐文本特征中每次一个patch地逐步生成图片。