超级会员免费看
本文介绍了MirrorGAN，一种基于深度学习的文本到图像生成模型，其灵感来源于cycleGAN但有所不同。MirrorGAN利用监督学习，通过成对的文本-图像进行训练，并采用注意力机制提取语义信息。网络结构包括STEM、GLAM和STREAM三个模块，分别负责文本处理、生成器的构建和解码过程。此外，文章还提到了生成器和判别器的损失函数设计。
OpenAI最近训练了一个名为DALL·E的神经网络，该神经网络通过文本描述为自然语言可表达的各种概念创建图像
MirrorGAN
可以训练：
https://github.com/qiaott/MirrorGAN
分两部分：
https://github.com/Kyfafyd/MirrorGAN
GLAM
STREAM
网络介绍：
MirrorGAN的灵感来自于cycleGAN，但是又有两点不同：1）cycleGAN是从图像到图像，而MirrorGAN是从文本到图像。2）cycleGAN输入的两组无关的不同风格图像，而MirrorGAN输入的是一组成对的文本-图像，是一种监督学习。注意力机制则经常被用于图像文本相关的问题，目前也取得了比较好的效果。
下面来看一下MirrorGAN的网络结构：
订阅专栏 解锁全文
扫一扫
558
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
