DALL-E 2: Hierarchical Text-Conditional Image Generation with CLIP Latents

已于 2024-03-01 21:29:29 修改
阅读量919 收藏 26
点赞数 17
文章标签： 自然语言处理
于 2023-12-24 22:30:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013308709/article/details/135168063
版权
DALL-E 2结合CLIP和GLIDE，使用对比学习训练文本编码器和图像编码器。在生成过程中，文本特征通过Prior模型转化为图像特征，再由扩散模型生成图像。DALL-E 2训练时不微调CLIP参数，并利用classifier-free guidance和clip guidance优化解码模型，以产生高清图像。
摘要由CSDN通过智能技术生成

DALL-E 2

方法

在这里插入图片描述

  • 上图中，虚线的上半部分是CLIP的训练过程，虚线的下半部分描述的DALL-E 2的训练过程。
CLIP训练
  • 在训练时，将文本以及对应的图像分别输入到CLIP的文本编码器和图像编码器，然后得到输出的文本特征和图像特征，这两个特征就是一个正样本，该文本特征与其他图像生成的图像特征就是负样本，通过对比学习，训练文本编码器和图像编码器，将图像和文本合并为一个多模态的特征空间。CLIP模型训练结束，文本编码器和图像编码器就的参数就被冻结。在DALL-E 2的训练过程中，CLIP模型的参数处于冻结状态，
最低0.47元/天 解锁文章
WindyChanChan
关注
dalle2：hierarchical text-conditional image generation with clip
liguandong
08-04 4477
产生的文本编码输入到第一个prior模型中，这是一个扩散模型，也可以用自回归的transformer，这个扩散模型输出一组图像vector，这时候通过经过clip产生的图像vector进行监督，此处其实是一个监督模型，后面是一个decoder模块，在以往的dalle中，encoder和decoder是放在dvae中一起训练的，但是此处的deocder是单训的，也是一个扩散模型，其实虚线之下的生成模型，是将一个完整的生成步骤，变成了二阶段显式的图像生成，作者实验这种显式的生成效果更好。............
ICLR 2024 |冻结住的CLIP仍可作为教师模型！
Java_college的博客
03-27 776
不难发现，在UCF-101与HMDB-51数据集上，fine-tune模型的性能比Frozen CLIP更强，但是在Kinetics-600数据集上，fine-tune模型的实验性能却比frozen CLIP要更弱。而在与训练数据不那么相似的测试类别上，模型需要更多地依赖预训练的泛化性知识，但这些知识已经在fine-tune的过程中被逐渐抹去了（典型的灾难遗忘问题（catastrophic forgetting issue）），因此fine-tune模型性能更差。我们在两种场景下都达到了最优的识别性能。
FC-CLIP-卷积永存：开放词汇分割与单一冻结卷积CLIP
Scabbards_的博客
08-31 933
我们使用共享的冷冻卷积CLIP骨干将所有内容构建到单级框架中，这不仅大大简化了当前的两级管道，而且还显著地产生了更好的准确性-成本权衡。由此产生的单级系统，称为FC-CLIP，受益于以下观察结果:冻结的CLIP主干保持了开放词汇表分类的能力，也可以作为强掩码生成器，卷积CLIP可以很好地推广到比对比图像-文本预训练期间使用的更大的输入分辨率。
论文解读：(CAVPT)Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model
weixin_50917576的博客
04-26 1340
随着大型预训练视觉语言模型(如CLIP)的出现，可转移表征可以通过及时调整适应广泛的下游任务。从存储在预训练模型中的一般知识中，提示调优探测下游任务的有益信息。最近提出了一种名为上下文优化(CoOp)的方法，该方法从语言方面引入了一组可学习向量作为文本提示。然而，单独调整文本提示符只能调整合成的“分类器”，而不能影响图像编码器的计算视觉特征，从而导致次优解。在本文中，我们提出了一种新的双模态提示调谐(DPT)范式，通过同时学习文本和视觉提示。
论文笔记：DALL-E2：Hierarchical Text-ConditionalImage Generation with CLIP Latents详解
zcyzcyjava的博客
09-20 5867
对这张图的一点理解： 首先虚线上面是一个clip，这个clip是提前训练好的，在dalle2的训练期间不会再去训练clip，是个权重锁死的，在dalle2的训练时，输入也是一对数据，一个文本对及其对应的图像，首先输入一个文本，经过clip的文本编码模块（bert，clip对图像使用vit，对text使用bert进行编码，clip是基本的对比学习，两个模态的编码很重要，模态编码之后直接余弦求相似度了），再输入一个图像，经过clip的图像编码模块，产生了图像的vector，这个图像vector其实是gt。
DALLE·2（Hierarchical Text-Conditional Image Generation with CLIP Latents）
weixin_45104951的博客
09-15 1万+
CLIP已经能够学习到很稳健的特征，比如语义semantics和风格style，如果只是拿来做分类就很可惜，如果能拿来做图像生成任务。两个阶段prior和decode。
【论文精读】Hierarchical Text-Conditional Image Generation with CLIP Latents
HERODING23的博客
09-11 1120
本篇工作即DALL·E2，是文生图领域和多模态领域具有轰动性的工作，其一出现就上了各大板块的热搜。DALL·E2生成的图像丰富且真实，很容易以假乱真。它的实现基于CLIP和扩散模型，前者结合丰富的图文语义，后者生成多样高质量图像，这套组合拳可谓实力十足。下面就来看看这篇工作具体是怎么做的吧。PaperCodeFrom对比学习模型如CLIP展现了其强大的图像语义和风格的表征。为了利用这些表征来进行图像的生成，作者提出了两阶段模型：prior模型通过文本描述生成图像表征，解码器模型根据图像表征生成图像。
【论文精读】DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
weixin_47748259的博客
03-04 2180
DALLE2是可以根据文本描述去生成这种原创性的真实的图片，DALLE2学习了图片文本中的特征，可以任意的组合这些概念、属性、风格。DALLE2也可以根据文本对已有的图片进行编辑和修改，可以任意添加或者移除现在图片里的物品，甚至可以把阴影、光的反射、物体的纹理全部考虑在内。对比学习的方法比如CLIP模型已经可以学习到很稳健的图像特征，不仅能捕获到语义信息，还能捕获到图像的风格信息。（可以考虑用这些表示来生成图像）prior先验模型：根据给定的文本描述生成类似于CLIP的图像特征（图像嵌入）
Hierarchical Text-Conditional Image Generation with CLIP Latents翻译
nopSled
04-07 338
计算机视觉的最新进展是通过基于从网络上收集的包含文本图像对的大型数据集，对大模型进行训练来驱动的。在此框架内，CLIP已成为成功的图像表示学习器。CLIP嵌入具有许多理想的属性：它们对于图像分布的变化是鲁棒的，并具有令人印象深刻的zero-shot能力，经过微调后，再各种视觉语言任务上都达到了SOTA效果。同时，扩散模型已成为一个较好的生成建模框架，从而推动了SOTA的图像和视频生成任务。为了取得最优结果，扩散模型利用了一种指导技术，该技术以样本多样性为代价改善了样本保真度。
Text-to-Image with Diffusion models的巅峰之作：深入解读​ DALL·E 2​
沉迷单车的追风少年
08-06 1819
DALL·E 2、imagen、GLIDE是最著名的三个text-to-image的扩散模型，是diffusion models第一个火出圈的任务。这篇博客将会详细解读DALL·E 2《Hierarchical Text-Conditional Image Generation with CLIP Latents》的原理。
51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
AIgraphX
04-01 921
DALLE2模型包括三部分，CLIP text/img encoder、先验模块prior和img decoder。主要作用是根据输入文本 text 描述生成原创性、真实性很高的图片，而且可以任意组合概念、属性和风格。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
关于 NLP 深度学习的核心流程
最新发布
xymspace
09-20 796
关于语言模型：- 作用判断那一句话相对更合理，相对不合理的会得到较底的分值：挑选成句概率分值最高的- 评价指标：PPL（Perplexity） 困惑度- 评估一个语言模型在给定数据集上的预测效果- PPL 值与成句概率成反比（PPL 越小，成句概率越高）
大型语言模型 (LLM) 劫持攻击不断升级，导致每天损失超过 100,000 美元
网络研究观
09-20 874
这一趋势反映了 LLM 访问黑市的不断增长，攻击者的动机包括个人使用和规避禁令和制裁。LLMjacking 的频率和复杂性不断提高，给云用户带来了巨大的财务和安全风险。
机器翻译之创建Seq2Seq的编码器、解码器
Hiweir的博客
09-18 313
【代码】创建Seq2Seq的编码器、解码器。
计算机人工智能前沿进展-大语言模型方向-2024-09-20
09-20 1071
计算机人工智能前沿进展，大语言模型LLM, 2024-09-20 论文速读
【AI大语言模型应用】使用Ollama搭建本地大语言模型
XuJiaKai的博客
09-17 1357
简单介绍什么是Ollama这玩意儿其实就是一个能够帮你快速启动并运行大语言模型的平台。你可以类比于Java中的Springboot+maven这个ollama是用go语言编写的，我对go语言了解不深，所以更细节的平台实现需要各位自行学习。目前这个ollama支持 windows、linux、macos下载Ollama目前主要是两种安装方式：直接安装和docker安装下面就直接开始了。
【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调
虾米记的博客
09-16 1605
本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值