1 简介
利用神经网络可以从文本生成图片,即将文本的语义转化为图片; 也可以从图片生成文本,即生成的文本描述图片中的内容,例如一幅图片中有一直小鸟落在枝头。最后由图片生产的文本就可以能可爱的绿色小鸟落于枝头。在计算广告中这种文本和图片之间互相生成的过程非常有用,如果可以在工业界有所突破,他们在广告创意的制作中将会发挥巨大作用,例如选定一个创意标题,立刻得到了创意图片,当制作完成了创意图片时也立刻得到了创意标题。
2 对抗网络(DCGAN)
2.1 原理
生成过程
输入的是高斯分布的数据,最终生成图片,相等于卷积网络的逆过程,如下图
图1 生成网络对抗学习
将真实图片和生成网络产生的图片当成正,负样本,同时送入一个卷积网络,训练卷积网络,然后再将真实图片当成负样本,输入卷积网络对抗学习,达到调节生成网络的目的,如下图
图2 对抗学习网络
主要参考这篇文章
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
2.2 应用
生成模型的应用
通过一个微调输入生成不同风格的图像,如下图,只要微调输入高斯分布数据就可以得到不同的风格,颜色的漫画
图3 生成模型的应用判别模型的应用
可以利用已经学习好的判别模型对图片进行特征抽取,详见DCGAN参考文章。下图是从判别模型抽取图片特征然后分类的效果对比
图4 判别模型抽取图片特征分类效果对比
3 DCGAN在Text2Image上的应用
3.1 意义
图片与文本之间互相生成在广告创意制作上有非常重要的意义,可以得到炫酷的效果,见下图
图5 图片和文本之间互相生成在广告创意上的应用
3.2 Text2Image
文本生成图片的网络结构如下
图6 Text2Image网络结构
3.3 生成过程
生成过程与原生的DCGAN复杂,如下图
图7 Text2Image训练过程
3.4 示例
图8 由文本生成图片效果对比图
图9 通过修改同一句文本里的部分词语,生成不同的颜色图片
参考文献
- Generative Adversarial Text to Image Synthesis
- Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
- Generative Adversarial Networks
- Conditional Generative Adversarial Nets
- Emerging Topics in Learning from Noisy and Missing Data: Zero Shot Learning