[T2L]图文生成Text To Image学习以及部分经典论文简介

已于 2023-12-23 16:20:23 修改
阅读量322 收藏 2
点赞数
文章标签： 学习
于 2023-12-23 15:54:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yesor_not/article/details/135169505
版权
本文概述了计算代价高昂的生成模型，重点关注GAN（如AttnGAN和DM-GAN）和VAE在图像生成中的应用，以及Text2Image技术的改进。讨论了注意力机制的发展和Transformer引入后的新模型，如CogView和DALL-E，以及Diffusion模型（DDPM和GLIDE）及其与预训练技术（如CLIP）的结合，最后提及了LLM-GPT4的发展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

计算代价高昂的生成模型

生成模型：GAN和VAE

生成对抗网络GAN​

变分自编码器VAE​

基于GAN和VAE的图像生成模型的发展​

第一篇Text2Image的文章​

改变文本token输入模型的方式​

注意力机制的发展

AttnGAN

DM-GAN

DF-GAN​

对比学习

improved DM_GAN

​编辑​编辑

XMC_GAN

Transformer诞生之后

CogView​

DALL-E​

Diffusion model

DDPM​

Diffusion model的类型​

GLIDE​

预训练-CLIP​

LLM-GPT4​

计算代价高昂的生成模型

生成模型：GAN和VAE

  • 生成对抗网络GAN

  • 变分自编码器VAE

基于GAN和VAE的图像生成模型的发展

  • 第一篇Text2Image的文章

  • 改变文本token输入模型的方式

注意力机制的发展

  • AttnGAN

  • DM-GAN

  • DF-GAN

对比学习

  • Improved DM_GAN

  • XMC_GAN

Transformer诞生之后

  • CogView

  • DALL-E

Diffusion model

  • DDPM

  • Diffusion model的类型

  • GLIDE

预训练-CLIP

LLM-GPT4

未完待续...

学习相关知识的过程中想着看都看了不如收集一下，制作了这个PPT。图片底下是相关顶会论文

如有侵权请联系我删除。

yesor_not
关注
IP-Adapter:text compatible image prompt adapter for text-to-image diffusion models
liguandong
10-10 1091
Imagen采用T5。上述方法的主要问题在于文本到图像扩散模型的cross-attention，query是可学习的，文本信息是key和value，预训练扩散模型中的cross-attention的key和value的投影权重是经过训练的，以适应文本特征，因此，将图像特征和文本特征合并到cross-attention只能实现图像特征和文本特征的对齐，但有可能错过一些图像特定的信息，最终导致只基于参考图像的粗粒度可控生成。例如，流行的sd模型是基于从冻结的clip文本编码器中提取的文本特征进行条件限定的。
强化学习微调文生图模型DPOK：Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models
orangerfun的博客
12-09 1171
DPOK
新手10分钟体验深度学习，文字转图像（text2image）及图像转图像（image2image）
jywzzz的专栏
04-04 1111
我 的 心 跳 并 没 有 停 止 ， 但 我 发 现 它 在 我 一 瞬 间 会 不 同 的 闪 动 ， 我 很 奇 怪 ， 在 不 知 道 什 么 地 方 ， 我 突 然 意 识 到 我 从 哪 一 处 看 到 它 们 的 眼 睛 ， 原 来 是 另 外 一 只 大 象 ， 我 突 然 发 现 时 ， 我 只 是 把 它 们 和 我 的 生 活 分 的 开。我 想 告 诉 我 的 朋 友 ， 我 们 在 旅 游 时 ， 也 是 非 常 接 近 的 一 种 表 达 方 式 ，有几分相似，有花也有鸟。
FuseDream论文阅读笔记 文本生成图像 text2image
MISS_XDY的博客
11-09 1001
文本生成图像论文FuseDream阅读笔记，借助BigGAN和CLIP，完成无训练、零样本的文本生成图像模型
深度学习入门
10-31
<p> <img src="https://img-bss.csdnimg.cn/202010300713588047.jpg" alt="" /> </p> <p> <img src="https://img-bss.csdnimg.cn/202010300714246712.jpg" alt="" /> </p> <p> <img src="https://img-bss.csdnimg.cn/202010300714415013.jpg" alt="" /> </p>
2016~2022 文字生成图像 Text to image（T2I）论文整理 阅读路线和阅读指南
白洞，白色的明天在等着我们
11-19 1万+
综述类： 1、Adversarial Text-to-Image Synthesis: A Review：《对抗性文本到图像合成：综述》 https://arxiv.org/abs/2101.09983 阅读报告：Text to Image综述阅读报告1 2、A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis：《用于文本生成图像的对抗性神经网络综述与分类》 https://arxiv.org/pdf
CVPR 2024最佳论文分享：文本到图像生成的丰富人类反馈
audyxiao001的博客
06-27 1569
本推文介绍了CVPR2024的最佳论文，该论文发布了第一个具有丰富人类反馈信息的数据集RichHF-18。此外，设计并训练了一个多模态Transformer模型用来自动预测人类反馈信息，并进一步验证了该模型可以用来微调生成模型，以生成更加精美的图像。
图文检索（1）：Rethinking Benchmarks for Cross-modal Image-text Retrieval
zhuzaiyebol的博客
09-13 1951
图像文本检索作为信息检索的一个基础和重要分支，引起了广泛的研究关注。该任务的主要挑战是跨模态语义理解和匹配。最近的一些工作更多地关注细粒度的跨模态语义匹配。随着大规模多模态预训练模型的普及，一些最先进的模型（例如X-VLM）在广泛使用的图像文本检索基准测试（即MSCOCO-Test-5K和Flickr30K-Test-1K）上取得了近乎完美的性能。在本文中，我们回顾了这两个常见的基准测试，并发现它们不足以评估模型在细粒度跨模态语义匹配方面的真实能力。原因是基准测试中的大量图像和文本都是粗粒度的。
CLIP（Contrastive Language–Image Pre-training）论文理解
m0_51619560的博客
01-31 936
CLIP () 使用的方法非常简单，主要分为2个部分：more使用图像和文本进行对比学习预训练组件文本编码器：Transformer图像编码器：ResNet or Vision Transformer对比学习目标：通过最大化正样本对（图像和文本描述）的相似性，最小化负样本对（图像和不相关文本描述）的相似性来学习图像和文本的共享表示损失函数（InfoNCE loss）:论文MoCo提出，我们可以把对比学习看成是一个字典查询的任务，即训练一个编码器从而去做字典查询的任务。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Text to image论文精读RAT-GAN：文本到图像合成中的递归仿射变换 Recurrent Affine Transformation for Text-to-image Synthesis
白洞，白色的明天在等着我们
05-18 4269
RAT-GAN提出了一种用于生成对抗网络的递归仿射变换 (RAT)，将所有融合块与递归神经网络连接起来，以模拟它们的长期依赖关系。
可定制多目标视频生成；LLM驱动的文生图；控制视频生成中运动目标轨迹；扩散模型做全景分割；实时多功能SAM；各种分割任务统一模型
公众号『机器感知』
01-19 1131
本文首发于公众号：机器感知。
图文结合-ViLBERT
poorlytechnology的博客
12-23 812
图文结合，自然语言处理、多模态学习、双流模型
Text2image 文本到图像的合成
duanshao的专栏
05-19 5880
文本到图像合成 用Thought Vectors这是一个为从描述合成图像的tensorflow实现，用的是Skip Thought Vectors模型。基于DCGAN（tf版本）来构建的。所使用的图像是GAN-CLS算法所使用的图像数据。依赖；-Python 2.7.6-Tensorflow-h5py-Theano : for skip thought vectors-scikit-learn :...
Text-image 论文分享
weixin_42626917的博客
04-11 1408
Text-image retrieval 论文分享 论文链接 [1]Pose-Guided Joint Global and Attentive Local Matching Network for Text-Based Person Search Task：这篇文章是放在2019arXiv上的，主要讲的是利用姿态信息和注意力机制来解决基于文本的人物检索的问题。 Motivation: 作者认为提...
文本生成图像简要回顾 text to image synthesis
mohole_zhang的博客
04-18 1万+
摘要 文本生成图像作为近几年的热门研究领域，其解决的问题是从一句描述性文本生成与之对应的图片。近一周来，我通过阅读了近几年发表于顶会的近10篇论文，做出本文中对该方向的简要报告。报告中主要阐述了近几年最流行的解决方案——以GAN思想为主干的解决方案。首先我对现有方法进行了简单回顾，之后针对这些方法做出了自己的总结，将各方法中用来提升生成效果的方式归纳为“增加网络深度”、更加充分地利...
【图像理解】自动生成图像的文本描述
格物致知
03-29 3万+
深度视觉语义对齐用于生成图像描述 Deep Visual-Semantic Alignments for Generating Image DescriptionsAndrej Karpathy Li Fei-Fei 摘要本文提出了一种方法，可以用于生成图像的自然语言描述。主要包含了两个部分（1）视觉语义的对齐模型；（2）为新图像生成文本描述的 Multimodal RNN 模型。其中视觉语义的对齐模型
【Python 学习笔记】 pip指令使用
老衲的少女心i~
04-23 210
当前文章记录的是我在学习过程的一些笔记和思考，可能存在有误解的地方，仅供大家参考，欢迎大家有问题指出~提示：以下是本篇文章正文内容，下面案例可供参考pip是一个现代的，通用的Python包管理工具。提供了对Python 包的查找、下载、安装、卸载功能，便于我们对Python的资源包进行管理。
Springoot、Flowable快速学习
最新发布
qq_39035267的博客
04-25 311
Springoot、Flowable快速学习，你想象不到实现起来如此的简单
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值