《深入浅出多模态》(四)：多模态经典模型CLIP

已于 2024-08-18 14:54:04 修改
阅读量924 收藏 5
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 深入浅出多模态 文章标签： 多模态 大模型 LLM 人工智能
于 2024-04-07 19:42:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/137474998
本文深入介绍多模态模型CLIP，探讨其论文、结构和zero-shot分类应用。CLIP采用双塔结构，通过对比学习使图像和文本在统一空间对齐。代码示例展示了CLIP如何实现图像与文本特征的对比，并利用其进行zero-shot分类。

在这里插入图片描述

🎉AI学习星球推荐： GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料，配有全面而有深度的专栏内容，包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关（简历撰写技巧、面经资料与心得）多方面综合学习平台，强烈推荐AI小白及AI爱好者学习，性价比非常高！加入星球➡️点击链接

✨专栏介绍： 本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《深入浅出多模态》下：多模态模型项目实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-30 1821
本篇内容承接前两篇《深入浅出多模态》之多模态技术总结（上）、《深入浅出多模态》中：多模态模型原理总结，首先将围绕不同多模态模型的对齐方法对经典多模态模型进行对比与总结，并挑选主流的多模态模型CLIP、BLIP、BLIP2等展开详细介绍，最后引入厂内多模态框架PaddleMIX进行多任务实战，帮助大家快速了解多模态技术。
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 4214
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
大模型学习 -- CLIP
qq_30921029的博客
06-02 7303
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
【跨模态实践】（三）CLIP模型与多模态模型简述
kkz2756275580的博客
11-19 5049
跨模态实践之CLIP简述
CLIP论文笔记：Learning Transferable Visual Models From Natural Language Supervision
u011426236的博客
04-26 1666
本文探索了是否可以将自然语言处理中任务无关的网络规模预训练的成功转移到其他领域。作者发现采用这种方法在计算机视觉领域产生了类似的行为，并讨论了这一研究方向的社会影响。为了优化它们的训练目标，CLIP模型学习在预训练期间执行多种任务。然后，可以通过自然语言提示利用这种任务学习，实现对许多现有数据集的零样本转移。在足够的规模下，这种方法的表现可以与特定任务的监督模型竞争，尽管仍有很大的改进空间。
CLIP模型
bblingbbling的博客
03-06 1万+
RN101:RN50X4:RN50X16:RN50X64VB32:VB16:VL14:
《深入浅出多模态》（八）多模态经典模型：MiniGPT4
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 803
本文对MiniGPT-4的论文、模型结构、训练过程进行总结。MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与高级大型语言模型（LLM）对齐。总体采用和 BLIP-2 相同的架构，使用BLIP-2相同的视觉编码器，即 ViT 骨干 及其预训练的 Q-Former，只不过 LLM 换成 Vicuna（基于 LLaMA）。只对线性层进行训练。而且使用 指令微调 的方法。比 BLIP-2 强上一截，后续文章将继续介绍 MiniGPT-v2、MiniGPTv5等改进模型。
《深入浅出多模态》（九）多模态经典模型：MiniGPT-v2、MiniGPT5
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 820
本文文章主要介绍 MiniGPT-v2、MiniGPTv5等改进模型， MiniGPT-v2模型以ViT视觉主干为基础，所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记，并通过线性层将它们投影到 LLaMA-2语言模型空间中。对多模态模型进行指令集微调，通过不同的instruction来实现不同的任务。 MiniGPTv5则使用了 Stable Diffusion 2.1 和多模态模型 MiniGPT-4 作为文本到图像生成模型。可以根据文本描述生成高质量、高分辨率的图片。
CLIP：万物分类（视觉语言大模型）
aibigtruth的博客
11-13 3632
本文来着公众号“AI大道理”​论文地址：https://arxiv.org/abs/2103.00020传统的分类模型需要先验的定义固定的类别，然后经过CNN提取特征，经过softmax进行分类。然而这种模式有个致命的缺点，那就是想加入新的一类就得重新定义这个类别的标签，并重新训练模型，这样非常不方便。CLIP打破了这个桎梏。CLIP能做到在一定标签内进行训练，标签外的也能进行分类。那么CLIP到底是如何认识未知的事物的呢？1、从人脸识别开始说起最早的打破固定标签的方法和应用就是人脸识别了。
多模态大模型-CLIP
最新发布
08-23 3231
我们探究了能否将自然语言处理（NLP）中与任务无关的网络规模预训练的成功经验迁移至其他领域。研究发现，采用该模式后，计算机视觉领域也出现了类似的现象，同时我们还探讨了这一研究方向所带来的社会影响。为优化训练目标，CLIP 模型在预训练过程中学习执行多种任务，而后可通过自然语言提示利用这种任务学习能力，实现对众多现有数据集的零样本迁移。在足够的规模下，尽管该方法仍有很大的改进空间，但其性能已可与特定任务的监督模型相媲美。
OpenAI最重要的模型【CLIP】
新缸中之脑
02-11 1万+
CLIP 代表 Contrastive Language-Image Pretraining：CLIP 是一个开源、多模态、零样本模型。给定图像和文本描述，该模型可以预测与该图像最相关的文本描述，而无需针对特定任务进行优化。开源：该模型由 OpenAI 创建并开源。稍后我们将看到有关如何使用它的编程教程。多模态：多模态架构利用多个领域来学习特定任务。CLIP 结合了自然语言处理和计算机视觉。零样本：零样本学习是一种在未见过的标签上进行泛化的方法，无需专门训练来对它们进行分类。
【多模态】CLIP模型
qq_34845880的博客
05-22 6953
Title: Learning transferable visual models from natural language supervision 作者：Alec Radford * 1 Jong Wook Kim * 1 Chris Hallacy 1 Aditya Ramesh 1 Gabriel Goh 1 Sandhini Agarwal Girish Sastry 1 Amanda Askell 1 Pamela Mishkin 1 Jack Clark 1 Gretchen Kruege
【Datawhale跨模态实践学习笔记】跨模态模型学习
JeffDing
11-18 1271
跨模态模型学习
模型实践｜ CLIP 模型
热门推荐
weixin_66945478的博客
03-28 1万+
CLIP(Contrastive Language-Image Pre-Training，以下简称 CLIP) 模型是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）💯。
通用视觉-语言模型 CLIP
qq_43538018的博客
12-06 2211
CLIP (Contrastive Language-Image Pretraining) 是 OpenAI 提出的一个通用视觉-语言模型，通过对比学习方法在大规模图片-文本对数据集上进行预训练，旨在学习一个能够将图片和文本嵌入到共享语义空间中的模型。它能执行零样本（zero-shot）任务，比如图像分类、搜索、生成等。CLIP 的核心贡献在于让图像和文本之间的语义信息高度对齐，从而可以利用自然语言对视觉内容进行高效描述、分类和推理。
多模态大模型（1）--CLIP
burstone的专栏
11-13 1345
CLIP的创新之处在于，它能够将图像和文本映射到一个共享的向量空间中，从而使得模型能够理解图像和文本之间的语义关系。这种共享的向量空间使得CLIP在图像和文本之间实现了无监督的联合学习，从而可以用于各种视觉和语言任务。
多模态：CLIP 模型【连接语言与视觉】
u013250861的博客
12-08 2081
是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）。本次我们尝试使用 Google 开源的 Conceptual Captions 数据集来训练 CLIP 模型，并对其效果进行一定的验证。
图文多模态模型CLIP
木盏
12-05 6575
CLIP带给我的震撼是超过transformer的，这是OpenAI的重要贡献之一。就如官网所描述的：用对比学习（Contrastive Learning）来对齐约束图像模型和文本模型。用文本嵌入指导图像学习，图像嵌入指导文本学习。这样一来，图像分类进入了CLIP时代，不需像传统深度学习图像分类一样，先定义出类别范围，然后准备各类别的数据（比如MNIST的十分类，ImageNet的千分类）。我们有了CLIP，可以直接任意给出一个class set如{“cat”，“dog”, “horse”，“Other”}
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值