#今日论文推荐# 叫板DALL·E 2，预训练大模型做编码器，谷歌把文字转图像模型卷上天

#今日论文推荐# 叫板DALL·E 2，预训练大模型做编码器，谷歌把文字转图像模型卷上天

本文介绍了来自谷歌的研究者也在OpenAI做出了探索，提出了一种文本到图像的扩散模型 Imagen。
OpenAI：DALL・E 2 就是最好的。谷歌：看下我们 Imagen 生成的柴犬？
多模态学习近来受到重视，特别是文本 - 图像合成和图像 - 文本对比学习两个方向。一些模型因在创意图像生成、编辑方面的应用引起了公众的广泛关注，例如 OpenAI 的文本转图像模型 DALL・E、英伟达的 GauGAN。现在，来自谷歌的研究者也在这一方向做出了探索，提出了一种文本到图像的扩散模型 Imagen。
Imagen 结合了 Transformer 语言模型和高保真扩散模型的强大功能，在文本到图像的合成中提供前所未有的逼真度和语言理解能力。与仅使用图像 - 文本数据进行模型训练的先前工作相比，Imagen 的关键突破在于：谷歌的研究者发现在纯文本语料库上预训练的大型 LM 的文本嵌入对文本到图像的合成显著有效。Imagen 的文本到图像生成可谓天马行空，能生成多种奇幻却逼真的有趣图像。

论文题目：Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
详细解读：https://www.aminer.cn/research_report/629d720e7cb68b460fcb5a85?download=falsehttps://www.aminer.cn/research_report/629d720e7cb68b460fcb5a85?download=false
AMiner链接：https://www.aminer.cn/?f=cs