DALL-E 2: Hierarchical Text-Conditional Image Generation with CLIP Latents

已于 2024-03-01 21:29:29 修改
阅读量913 收藏 26
点赞数 17
文章标签： 自然语言处理
于 2023-12-24 22:30:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013308709/article/details/135168063
版权
DALL-E 2结合CLIP和GLIDE，使用对比学习训练文本编码器和图像编码器。在生成过程中，文本特征通过Prior模型转化为图像特征，再由扩散模型生成图像。DALL-E 2训练时不微调CLIP参数，并利用classifier-free guidance和clip guidance优化解码模型，以产生高清图像。
摘要由CSDN通过智能技术生成

DALL-E 2

方法

在这里插入图片描述

  • 上图中，虚线的上半部分是CLIP的训练过程，虚线的下半部分描述的DALL-E 2的训练过程。
CLIP训练
  • 在训练时，将文本以及对应的图像分别输入到CLIP的文本编码器和图像编码器，然后得到输出的文本特征和图像特征，这两个特征就是一个正样本，该文本特征与其他图像生成的图像特征就是负样本，通过对比学习，训练文本编码器和图像编码器，将图像和文本合并为一个多模态的特征空间。CLIP模型训练结束，文本编码器和图像编码器就的参数就被冻结。在DALL-E 2的训练过程中，CLIP模型的参数处于冻结状态，
最低0.47元/天 解锁文章
WindyChanChan
关注
  • 17
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
dalle2：hierarchical text-conditional image generation with clip
liguandong
08-04 4469
产生的文本编码输入到第一个prior模型中，这是一个扩散模型，也可以用自回归的transformer，这个扩散模型输出一组图像vector，这时候通过经过clip产生的图像vector进行监督，此处其实是一个监督模型，后面是一个decoder模块，在以往的dalle中，encoder和decoder是放在dvae中一起训练的，但是此处的deocder是单训的，也是一个扩散模型，其实虚线之下的生成模型，是将一个完整的生成步骤，变成了二阶段显式的图像生成，作者实验这种显式的生成效果更好。............
ICLR 2024 |冻结住的CLIP仍可作为教师模型！
Java_college的博客
03-27 755
不难发现，在UCF-101与HMDB-51数据集上，fine-tune模型的性能比Frozen CLIP更强，但是在Kinetics-600数据集上，fine-tune模型的实验性能却比frozen CLIP要更弱。而在与训练数据不那么相似的测试类别上，模型需要更多地依赖预训练的泛化性知识，但这些知识已经在fine-tune的过程中被逐渐抹去了（典型的灾难遗忘问题（catastrophic forgetting issue）），因此fine-tune模型性能更差。我们在两种场景下都达到了最优的识别性能。
FC-CLIP-卷积永存：开放词汇分割与单一冻结卷积CLIP
Scabbards_的博客
08-31 894
我们使用共享的冷冻卷积CLIP骨干将所有内容构建到单级框架中，这不仅大大简化了当前的两级管道，而且还显著地产生了更好的准确性-成本权衡。由此产生的单级系统，称为FC-CLIP，受益于以下观察结果:冻结的CLIP主干保持了开放词汇表分类的能力，也可以作为强掩码生成器，卷积CLIP可以很好地推广到比对比图像-文本预训练期间使用的更大的输入分辨率。
论文解读：(CAVPT)Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model
weixin_50917576的博客
04-26 1307
随着大型预训练视觉语言模型(如CLIP)的出现，可转移表征可以通过及时调整适应广泛的下游任务。从存储在预训练模型中的一般知识中，提示调优探测下游任务的有益信息。最近提出了一种名为上下文优化(CoOp)的方法，该方法从语言方面引入了一组可学习向量作为文本提示。然而，单独调整文本提示符只能调整合成的“分类器”，而不能影响图像编码器的计算视觉特征，从而导致次优解。在本文中，我们提出了一种新的双模态提示调谐(DPT)范式，通过同时学习文本和视觉提示。
论文笔记：DALL-E2：Hierarchical Text-ConditionalImage Generation with CLIP Latents详解
zcyzcyjava的博客
09-20 5847
对这张图的一点理解： 首先虚线上面是一个clip，这个clip是提前训练好的，在dalle2的训练期间不会再去训练clip，是个权重锁死的，在dalle2的训练时，输入也是一对数据，一个文本对及其对应的图像，首先输入一个文本，经过clip的文本编码模块（bert，clip对图像使用vit，对text使用bert进行编码，clip是基本的对比学习，两个模态的编码很重要，模态编码之后直接余弦求相似度了），再输入一个图像，经过clip的图像编码模块，产生了图像的vector，这个图像vector其实是gt。
【论文精读】DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
weixin_47748259的博客
03-04 2108
DALLE2是可以根据文本描述去生成这种原创性的真实的图片，DALLE2学习了图片文本中的特征，可以任意的组合这些概念、属性、风格。DALLE2也可以根据文本对已有的图片进行编辑和修改，可以任意添加或者移除现在图片里的物品，甚至可以把阴影、光的反射、物体的纹理全部考虑在内。对比学习的方法比如CLIP模型已经可以学习到很稳健的图像特征，不仅能捕获到语义信息，还能捕获到图像的风格信息。（可以考虑用这些表示来生成图像）prior先验模型：根据给定的文本描述生成类似于CLIP的图像特征（图像嵌入）
DALLE·2（Hierarchical Text-Conditional Image Generation with CLIP Latents）
weixin_45104951的博客
09-15 1万+
CLIP已经能够学习到很稳健的特征，比如语义semantics和风格style，如果只是拿来做分类就很可惜，如果能拿来做图像生成任务。两个阶段prior和decode。
【论文精读】Hierarchical Text-Conditional Image Generation with CLIP Latents
HERODING23的博客
09-11 1068
本篇工作即DALL·E2，是文生图领域和多模态领域具有轰动性的工作，其一出现就上了各大板块的热搜。DALL·E2生成的图像丰富且真实，很容易以假乱真。它的实现基于CLIP和扩散模型，前者结合丰富的图文语义，后者生成多样高质量图像，这套组合拳可谓实力十足。下面就来看看这篇工作具体是怎么做的吧。PaperCodeFrom对比学习模型如CLIP展现了其强大的图像语义和风格的表征。为了利用这些表征来进行图像的生成，作者提出了两阶段模型：prior模型通过文本描述生成图像表征，解码器模型根据图像表征生成图像。
Hierarchical Text-Conditional Image Generation with CLIP Latents翻译
nopSled
04-07 332
计算机视觉的最新进展是通过基于从网络上收集的包含文本图像对的大型数据集，对大模型进行训练来驱动的。在此框架内，CLIP已成为成功的图像表示学习器。CLIP嵌入具有许多理想的属性：它们对于图像分布的变化是鲁棒的，并具有令人印象深刻的zero-shot能力，经过微调后，再各种视觉语言任务上都达到了SOTA效果。同时，扩散模型已成为一个较好的生成建模框架，从而推动了SOTA的图像和视频生成任务。为了取得最优结果，扩散模型利用了一种指导技术，该技术以样本多样性为代价改善了样本保真度。
Text-to-Image with Diffusion models的巅峰之作：深入解读​ DALL·E 2​
沉迷单车的追风少年
08-06 1810
DALL·E 2、imagen、GLIDE是最著名的三个text-to-image的扩散模型，是diffusion models第一个火出圈的任务。这篇博客将会详细解读DALL·E 2《Hierarchical Text-Conditional Image Generation with CLIP Latents》的原理。
51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
AIgraphX
04-01 905
DALLE2模型包括三部分，CLIP text/img encoder、先验模块prior和img decoder。主要作用是根据输入文本 text 描述生成原创性、真实性很高的图片，而且可以任意组合概念、属性和风格。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
大型视觉语言模型的有效性评估
最新发布
qq_53795212的博客
09-06 863
第 2 节评估了 MiniGPTv2 [4]、LLaVA-1.5 [8] 和 Shikra [9] 在各种专业任务中的识别性能。其中，LLaVA-1.5 通常在存在判定和对象分类方面表现出更好的识别能力。然而，定量分析表明，虽然这些模型在没有特定领域微调的情况下在各种专门任务中表现出了一定的认知能力，但它们的识别性能还需要进一步提高。当直接应用于这些任务时，它们对专业领域的认知和理解仍然有限。
【王树森】BERT：预训练Transformer模型（个人向笔记）
hxdxiaoming的博客
08-31 1125
BERT用两个主要思想来训练Transformer的encoder网络：①随机遮挡单词，让encoder根据上下文来预测被遮挡的单词。②把两句话放在一起，让encoder判断是不是原文相邻的两句话
【论文速读】| 基于大语言模型智能体对文本到图像模型进行越狱
m0_73736695的博客
09-02 935
本论文提出名为 Atlas 的创新框架，以探索和揭示先进文本到图像（T2I）生成模型的安全漏洞。随着生成式 AI 技术发展，T2I 模型因易用性和高质量图像生成能力受欢迎，但存在生成敏感或不适宜内容风险，现有安全措施主要依赖安全过滤器，有效性受到了挑战。
大语言模型LLM权重4bit向量量化(Vector Quantization)/查找表量化基本原理
LuchangLi 的专栏
09-06 704
针对大语言模型权重的4bit量化，除了常规的广泛使用的group-wise均匀量化，如GPTQ, AWQ等等，苹果提出了一种称为Palettization的lookup table (LUT)查找表量化技术，高通也提出了新的一种向量量化技术，其实这两种技术原理基本上是相同的
BLEU: a Method for Automatic Evaluation of Machine Translation论文解读
m0_52775136的博客
09-02 663
避免输出有风险的单词，所以我们会把句子变短。但这样做并不是一个好的翻译。所以我们对过短的句子加以惩罚。对机器翻译进行人工评价耗时，人工价格昂贵。自动机器翻译评估方法可以降低成本，并且评估速度提高。N-gram的匹配规则，算出比较译文和参考译文之间n组词的相似的一个占比。一个高得分的候选翻译现在必须在长度、单词选择和单词顺序上与参考翻译相匹配。Max_Ref_Count是该单词在这句参考翻译中的出现次数。w是权重，如果采用了4-gram，则w_{n}=1/4。c是机器译文的词数，r是参考译文的词数。
压缩大型语言模型 LLMs
shiming8879的博客
09-02 704
压缩LLMs的方法多种多样，主要包括量化、剪枝和知识蒸馏三大类。这些方法可以单独使用，也可以结合使用，以实现更高效的压缩效果。
GPT-4.0、DALL-E与CodeCopilot：开启信息技术新篇章
随着科技的不断进步，ChatGPT4.0、DALL-E和CodeCopilot这三项创新技术正在逐步改变我们获取信息、创造内容以及进行编程的方式，共同打开了一个充满可能性的新世界。 首先，ChatGPT4.0作为最新一代的自然语言处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值