2016~2022 文字生成图像 Text to image（T2I）论文整理 阅读路线和阅读指南

已于 2022-10-18 08:38:47 修改
阅读量1.2w 收藏 143
点赞数 31
分类专栏： 文本生成图像 text-to-image 文章标签： text to image T2I 文本生成图像 GAN 综述
于 2021-11-19 18:12:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/air__Heaven/article/details/121412641
版权

2016~2021 文字生成图像 Text to image（T2I）论文汇总 阅读路线和阅读指南

综述类

1、Adversarial Text-to-Image Synthesis: A Review：《对抗性文本到图像合成：综述》

论文地址：https://arxiv.org/abs/2101.09983

阅读报告：Text to Image综述阅读报告1

2、A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis：《用于文本生成图像的对抗性神经网络综述与分类》

论文地址：https://arxiv.org/pdf/1910.09399.pdf

阅读报告：Text to Image综述阅读报告2

3、An Introduction to Image Synthesis with Generative Adversarial Nets《生成对抗网图像合成简介》

论文地址：https://arxiv.org/abs/1803.04469

阅读报告：Text to image综述阅读报告3

部分最新重要研究成果

按最新优先排序：
1、RAT-GAN：Recurrent Affine Transformation for Text-to-image Synthesis

论文地址：https://arxiv.org/pdf/2204.10482.pdf
代码地址：https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis

精读与理解：RAT-GAN：文本到图像合成中的递归仿射变换 Recurrent Affine Transformation for Text-to-image Synthesis

2、SSA-GAN：Text to Image Generation with Semantic-Spatial Aware GAN

论文地址：https://arxiv.org/pdf/2104.00567v3.pdf
代码地址：https://github.com/wtliao/text2image

精读与理解：SSA-GAN：基于语义空间感知的文本图像生成 Text to Image Generation with Semantic-Spatial Aware GAN

3、Unifying Multimodal Transformer for Bi-directional Image and Text Generation《用于双向图像和文本生成的统一多模态转换器》

论文地址：https://arxiv.org/pdf/2110.09753v1.pdf

code：https://github.com/researchmm/generate-it

4、Fine-Grained Image Generation from Bangla Text Description using Attentional Generative Adversarial Network《使用注意力生成对抗网络从孟加拉语文本描述生成细粒度图像》

论文地址：https://arxiv.org/pdf/2109.11749v1.pdf

code：https://github.com/pioneerAlpha/BanglaText2ImageGeneration

5、Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems《Paint4Poem：中国古典诗歌艺术可视化数据集》

论文地址：https://arxiv.org/pdf/2109.11682v2.pdf

code：https://github.com/paint4poem/paint4poem

6、Improving Text-to-Image Synthesis Using Contrastive Learning《使用对比学习改进文本到图像的合成》

论文地址：https://arxiv.org/pdf/2107.02423v1.pdf

code：https://github.com/huiyegit/T2I_CL

7、CogView: Mastering Text-to-Image Generation via Transformers《CogView：通过 Transformers 掌握文本到图像的生成》

论文地址：https://arxiv.org/pdf/2105.13290v3.pdf
精读与理解：CogView: Mastering Text-to-Image Generation via Transformers(通过Transformer控制文本生成图像)

code1：https://github.com/THUDM/CogView
code2：https://github.com/lucidrains/x-transformers

8、Towards Open-World Text-Guided Face Image Generation and Manipulation《走向开放世界文本引导的人脸图像生成和操作》

论文地址：https://arxiv.org/pdf/2104.08910v1.pdf

code1：https://github.com/weihaox/TediGAN
code2：https://github.com/IIGROUP/TediGAN

9、Text to Image Generation with Semantic-Spatial Aware GAN《使用语义空间感知 GAN 生成文本到图像》

论文地址：https://arxiv.org/pdf/2104.00567v3.pdf

code：https://github.com/wtliao/text2image

10、Zero-Shot Text-to-Image Generation《零训练文本到图像生成》

论文地址：https://arxiv.org/pdf/2102.12092v2.pdf

code1：https://github.com/openai/DALL-E
code2：https://github.com/lucidrains/DALLE-pytorch

11、Cross-Modal Contrastive Learning for Text-to-Image Generation《用于文本到图像生成的跨模态对比学习》

论文地址：https://arxiv.org/pdf/2101.04702v4.pdf

code：https://github.com/google-research/xmcgan_image_generation

12、TediGAN: Text-Guided Diverse Face Image Generation and Manipulation《TediGAN：文本引导的多样化人脸图像生成和操作》

论文地址：https://arxiv.org/pdf/2012.03308v3.pdf

code1：https://github.com/weihaox/TediGAN
code2：https://github.com/IIGROUP/TediGAN

发展与往年经典模型

1、Generative Adversarial Text to Image Synthesis《生成对抗式从文本生成图像》

会议： ICML 2016

精读与理解：GAN-CLS和GAN-INT：Generative Adversarial Text to Image Synthesis生成性对抗性文本图像合成

论文地址： https://arxiv.org/pdf/1605.05396.pdf

代码地址： https://github.com/zsdonghao/text-to-image

2、Learning what and where to draw《学习画什么和画在哪》

会议： NIPS 2016

论文地址： https://arxiv.org/pdf/1610.02454.pdf

代码地址： https://github.com/reedscot/nips2016

3、PPGN: Plug & play generative networks: Conditional iterative generation of images in latent space《即插即用的生成网络：潜在空间中图像的条件迭代生成》

会议： CVPR 2017

论文地址： https://arxiv.org/pdf/1612.00005.pdf

代码地址： https://github.com/Evolving-AI-Lab/ppgn

4、StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks《StackGAN:使用堆叠的生成对抗式网络从文本生成照片般类似的图像》

会议： ICCV 2017

精读与理解：Text to image论文精读 StackGAN：Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成

论文地址： https://arxiv.org/pdf/1612.03242.pdf

代码地址： https://github.com/hanzhanggit/StackGAN

5、StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks《StackGAN ++：具有堆叠式生成对抗网络的逼真的图像合成》

精读与理解：Text to image论文精读 StackGAN++： Realistic Image Synthesis with Stacked GAN 具有堆叠式生成对抗网络的逼真的图像合成

会议： ICCV 2017

论文地址： https://arxiv.org/pdf/1710.10916v3.pdf

代码地址： https://github.com/hanzhanggit/StackGAN-v2

6、AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks《AttnGAN：带有注意的生成对抗网络细化文本到图像生成》

会议： CVPR, 2018.

论文地址： https://arxiv.org/pdf/1711.10485.pdf

代码地址： https://github.com/taoxugit/AttnGAN

精读与理解：Text to image论文精读 AttnGAN: Fine-Grained TexttoImage Generation with Attention（带有注意的生成对抗网络细化文本到图像生成）

实验复现：AttnGAN代码复现（详细步骤+避坑指南）

7、MirrorGAN: Learning Text-to-image Generation by Redescription(MirrorGAN：通过重新定义学习文本到图像的生成)

会议： CVPR 2019

论文地址：https://arxiv.org/abs/1903.05854

代码地址：https://github.com/qiaott/MirrorGAN

精度与理解：Text to image论文精读 MirrorGAN: Learning Text-to-image Generation by Redescription（通过重新描述学习从文本到图像的生成）

8、DM-GAN： Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis《DM-GAN：用于文本到图像合成的动态记忆生成对抗网络》

会议： CVPR 2019

论文地址： https://arxiv.org/abs/1904.01310?context=cs

代码地址： https://github.com/MinfengZhu/DM-GAN

精读与理解：论文精读 DM-GAN: Dynamic Memory Generative Adversarial Networks for t2i 用于文本图像合成的动态记忆生成对抗网络

9、Semantics Disentangling for Text-to-Image Generation 《文本到图像生成的语义解决》

会议：CVPR 2019

论文地址：https://arxiv.org/abs/1904.01480v1

10、 Controllable Text-to-Image Generation《可控文本到图像生成 》

会议：NeurIPS 2019

论文地址：https://arxiv.org/pdf/1909.07083.pdf

代码地址：https://github.com/mrlibw/ControlGAN

11、text-to-Image Synthesis Based on Machine Generated Captions

论文地址：https://arxiv.org/pdf/1910.04056.pdf

12、CookGAN: Causality based Text-to-Image Synthesis

会议：CVPR 2020

论文地址：https://ieeexplore.ieee.org/document/9157040/citations#citations

精读与理解：Text to image论文精读 CookGAN: Causality based Text-to-Image Synthesis（基于因果关系的文本图像合成 ）从菜谱描述自动生成菜肴照片

13、DF-GAN：A Simple and Effective Baseline for Text-to-Image Synthesis

论文地址：https://arxiv.org/abs/2008.05865
代码地址：https://github.com/tobran/DF-GAN

精读与理解：DF-GAN：A Simple and Effective Baseline for Text-to-Image Synthesis一种简单有效的文本生成图像基准模型

中杯可乐多加冰
关注
  • 31
    点赞
  • 踩
  • 143
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
text-to-image:将文本作为字符串转换为包含该文本的图像
04-28
文字到图片 一个库，用于生成表示包含所选择文本的图像的图像数据URI。 生成器最初是一个Twitter机器人的一部分，用于发布超过140个字符的推文，该生成器将一个字符串和一个可选的配置对象作为参数，并返回一个将解析为图像数据URI的promise（ [removed]iVBORw0KGgoAAAA... ） 还有一个同步变体，可直接返回数据URI。 安装 npm i text-to-image 请注意，文本到图像使用来生成图像。 要安装文本到图像，您可能必须满足的。 请参阅其文档以获取指示。 用法 const textToImage = require('text-to-image'); // using await const dataUri = await textToImage.generate('Lorem ipsum dolor sit amet
awesome-Text-to-Image:文本到图像生成综合研究
04-03
awesome Text_to_Image papers 文本到图像合成任务的资源集合。 内容 1.说明 在过去的几十年中，计算机视觉（CV）和自然语言处理（NLP）领域在深度学习研究中取得了几项重大技术突破。 最近，研究人员似乎对在这些传统上独立的领域中组合语义信息和视觉信息感兴趣。 关于将图像的输入文字描述（关键字或句子）转换为逼真的图像的文本到图像合成技术，已经进行了许多研究。 此处提供了文本到图像任务的论文，代码和数据集。 2.量化评估指标 初始分数（IS） [] [ ] [ ] Fréchet起始距离（FID） [ ] [ ] [ ] R精度[ ] L 2错误[ ] 3，数据集 加州理工学院-加州大学圣地亚哥分校的小鸟（CUB） Caltech-UCSD Birds-200-2011（CUB-200-2011）是CUB-200数据集的扩展版本，每个类的图像数量
文生图模型（text2img）
最新发布
a533855的博客
05-31 589
Text-to-image（文生图）模型是一种先进的人工智能技术，能够将描述性文本转换成相应的图像。这种模型的核心功能是解读用户输入的自然语言描述，并基于这些描述生成视觉内容。这类模型的实现通常依赖于深度学习框架，特别是生成对抗网络（GANs）或变分自编码器（VAEs）。在模型训练过程中，需要大量的文本-图像对作为数据源。通过这些数据，模型学习如何将文本信息映射到图像特征上，理解和把握不同文本描述对应的视觉元素和风格。例如，给定描述“一个坐在山顶上的红色帐篷”，模型将生成展示该场景的图像。
文本生成图像技术杂谈
吴建明wujianming_110117
06-18 2669
文本生成图像技术杂谈
Text to image论文精读SSA-GAN：基于语义空间感知的文本图像生成 Text to Image Generation with Semantic-Spatial Aware GAN
白洞，白色的明天在等着我们
04-29 5839
文本到图像生成（T2I）模型旨在生成语义上与文本描述一致的照片逼真图像。Semantic-Spatial Aware GAN提出了一种新的语义空间感知GAN框架，文章发表于2021年10月。 论文地址：https://arxiv.org/pdf/2104.00567v3.pdf 代码地址：https://github.com/wtliao/text2image 本博客是精读这篇论文的报告，包含一些个人理解、知识拓展和总结。
[T2L]图文生成Text To Image学习以及部分经典论文简介
yesor_not的博客
12-23 159
自己学习Text To Image的时候顺手制作的PPT，封面背景是使用当时免费使用的Adobe Firefly生成的。
Text to image论文精读SeedSelect: 使用SeedSelect微调扩散模型It’s all about where you start
白洞，白色的明天在等着我们
06-01 2221
文本到图像的扩散模型可以在新的组合和场景中综合各种各样的概念。然而，他们仍然很难产生不寻常的概念，罕见的不寻常的组合，或者像手掌这样的结构化概念。SeedSelect通过在噪声空间中仔细选择合适的生成种子进行微调，可以正确地生成稀有概念。SeedSelect是高效的，不需要重新训练扩散模型。
MirrorGAN论文阅读笔记 文本生成图片 Text-To-Image
MISS_XDY的博客
03-02 3236
原先的文本生成图片问题是输入文本，训练生成器和判别器，生成相对应的图片。MirrorGAN借鉴了CycleGAN的思想，在此基础上增加了一个判别过程，即将生成的图片再转化成文本描述，如果图片生成的是对的，那么再次转化后的文本描述应该与输入的文本有着相同的语义。 先放一张结构图： MirrorGAN由三部分构成：STEM、CLAM、STREAM。 STEM：a semantic text embedding module 语义文本嵌入模块，生成单词级和句子级的文本嵌入 GLAM：a globa..
三维生成-基于NeRF+Diffusion实现的Text-to-3D和Image-to-3D生成-附项目源码+流程教程-优质项目
05-17
这个“三维生成-基于NeRF+Diffusion实现的Text-to-3D和Image-to-3D生成”项目聚焦于利用自然语言和图像数据生成高质量的三维模型。下面将详细介绍NeRF、Diffusion以及Text-to-3D和Image-to-3D生成这两个关键概念，并...
text to image image to image face fix muti model
11-19
【标题】"text to image, image to image, face fix, multi-model" 提示我们这个压缩包文件包含了几个关键领域的技术，主要包括文本转图像（Text-to-Image）、图像转图像（Image-to-Image）以及人脸修复（Face Fix）...
文字到图像「Text to Image」-crx插件
03-23
这个扩展名将链接到图像的文本链接替换为内联的实际图像。 版本1.1.1：修正了一个元素中的所有文本将被覆盖，而不是只有图像的URL。为了便于阅读，在图像之前添加了换行符。从控制台删除调试消息。 版本1.0：基本...
图像生成文本
Wu_whiteHyacinth的博客
12-19 391
# -*- coding:utf-8 -*- import os import sys import tensorflow as tf from tensorflow import gfile from tensorflow import logging import pprint import pickle import numpy as np import math import rand...
论文介绍 FreeControl: 无需额外训练实现文本到图像的空间操控！
Willen_的博客
02-13 108
分析阶段和合成阶段。分析阶段：通过对种子图像的扩散特征进行主成分分析（PCA），形成时间依赖的基BtB_tBt​，作为语义结构表示。合成阶段：结构引导帮助在引导图像IgI_gIg​的指导下构建输出图像III的结构模板，而外观引导从相同种子生成的兄弟图像Iˉ\bar{I}Iˉ中借用外观细节。FreeControl支持多种控制条件、模型架构和自定义模型文件，能够处理大多数现有无训练方法失败的挑战性输入条件，并且与基于训练的方法相比，实现了竞争性的合成质量。
Text to image论文精读DF-GAN：A Simple and Effective Baseline for Text-to-Image Synthesis一种简单有效的文本生成图像基准模型
热门推荐
白洞，白色的明天在等着我们
04-23 1万+
DF-GAN是南京邮电大学、苏黎世联邦理工学院、武汉大学等学者共同研究开发的一款简单且有效的文本生成图像模型。该论文已被CVPR 2022 Oral录用，文章最初发表于2020年8月，最后v3版本修订于22年3月 。 论文地址：https://arxiv.org/abs/2008.05865 代码地址：https://github.com/tobran/DF-GAN 本博客是精读这篇论文的报告，包含一些个人理解、知识拓展
基于场景文字的多模态融合的图像分类
华为云官方博客
04-27 3280
图像分类任务是计算机视觉最为基础的任务之一。依靠目标的细粒度、具有区分性的视觉特征能够较好地区分通用目标。然而，对于部分细粒度的类别，仅仅依靠视觉特征难以区分不同类别。
多模态对比语言图像预训练CLIP：打破语言与视觉的界限，具备零样本能力
代码讲故事
02-05 410
多模态对比语言图像预训练CLIP：打破语言与视觉的界限，具备零样本能力。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GPT-2和GPT-3，具备出色的零射击能力，可以应用于多种多模态任务。
图像识别的挑战：多模态与跨领域
禅与计算机程序设计艺术
12-27 743
1.背景介绍 图像识别技术在过去的几年里取得了显著的进展，这主要是由于深度学习和计算机视觉技术的发展。随着这些技术的不断发展，图像识别的应用范围也逐渐扩大，从初期的手写识别、人脸识别等简单任务逐渐发展到目前的更复杂的场景和任务，如目标检测、场景理解、自动驾驶等。然而，图像识别技术仍然面临着许多挑战，其中一个重要的挑战是多模态和跨领域的图像识别。 多模态图像识别是指同时利用不同类型的输入信息(如...
text_to_image 方法用于将文本数据转化为对应的图像数据，具体怎么转换
06-11
在上述代码中，`text_to_image` 方法并没有真正的将文本数据转化为对应的图像数据，而是创建了一个白色的 256x256 的 RGB 图像，并将其转化为对应的 Tensor 格式。这是因为在实际场景中，文本数据往往需要进行一些额外的处理，例如文本向量化、图像生成等，才能最终转化为对应的图像数据。不同的任务需要不同的方法，下面给出两个示例： 1. 文本数据向量化 在图像生成任务中，我们需要将输入的文本描述转化为对应的向量表示，然后使用生成器网络生成对应的图像。这个向量表示可以使用一些常见的文本表示方法，例如 TF-IDF、Word2Vec 等，或者使用一个预训练的文本编码器（例如 BERT、GPT 等）来得到。示例代码如下： ```python import torch from transformers import BertTokenizer, BertModel from PIL import Image class TextToImageDataset(Dataset): def __init__(self, text_dataset, image_size=256): self.text_dataset = text_dataset self.image_size = image_size self.tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') self.encoder = BertModel.from_pretrained('bert-base-uncased') def text_to_image(self, text_data): # 将文本数据转化为对应的向量表示 inputs = self.tokenizer(text_data, return_tensors='pt') outputs = self.encoder(**inputs) text_vector = outputs.last_hidden_state.mean(dim=1).squeeze() # 使用生成器网络生成对应的图像 generator = Generator() generator.load_state_dict(torch.load('generator.pth')) generator.eval() with torch.no_grad(): fake_image = generator(text_vector.unsqueeze(0)) fake_image = fake_image.squeeze().cpu() # 将生成的图像进行缩放、裁剪等处理 img = transforms.functional.to_pil_image(fake_image) img = transforms.functional.resize(img, (self.image_size, self.image_size)) img = transforms.functional.center_crop(img, (self.image_size, self.image_size)) return transforms.functional.to_tensor(img) ``` 在上述代码中，我们使用 `BertTokenizer` 和 `BertModel` 类来对输入的文本进行编码，并得到对应的向量表示。然后，我们使用一个预训练的生成器网络 `Generator`，通过向量表示生成对应的图像。最后，我们对生成的图像进行缩放、裁剪等处理，得到最终的图像数据。 2. 图像生成 在一些图像生成任务中，我们需要将输入的文本描述直接生成对应的图像，而不是先将其转化为向量表示。这个任务可以通过一些生成式模型来实现，例如 GAN、VAE 等。示例代码如下： ```python import torch from torchvision.utils import save_image from PIL import Image class TextToImageDataset(Dataset): def __init__(self, text_dataset, image_size=256): self.text_dataset = text_dataset self.image_size = image_size self.generator = Generator() self.generator.load_state_dict(torch.load('generator.pth')) self.generator.eval() def text_to_image(self, text_data): # 使用生成器网络生成对应的图像 with torch.no_grad(): fake_image = self.generator(text_data.unsqueeze(0)) fake_image = fake_image.squeeze().cpu() # 将生成的图像进行缩放、裁剪等处理 img = transforms.functional.to_pil_image(fake_image) img = transforms.functional.resize(img, (self.image_size, self.image_size)) img = transforms.functional.center_crop(img, (self.image_size, self.image_size)) return transforms.functional.to_tensor(img) ``` 在上述代码中，我们直接使用一个预训练的生成器网络 `Generator`，通过输入的文本描述生成对应的图像。最后，我们对生成的图像进行缩放、裁剪等处理，得到最终的图像数据。需要注意的是，在这种情况下，生成器网络的输入为文本描述，而不是文本向量表示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中杯可乐多加冰

请我喝杯可乐吧，我会多加冰！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值