CLIP 基础模型：从自然语言监督中学习可转移的视觉模型

已于 2023-09-20 22:51:17 修改
阅读量5.5k 收藏 1
点赞数
分类专栏： 神经网络和深度学习专栏 人工智能综合 文章标签： 人工智能 神经网络 深度学习
于 2023-09-16 11:07:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongdiwudu/article/details/132912026
版权
CLIP是多模态模型，通过400亿个文本图像对训练，实现自然语言与图像对应，具备强大的零镜头性能。模型包含文本和图像编码器，以对比学习方式训练。实验表明，CLIP在零镜头和少镜头任务中表现出色，能有效抵抗分布偏移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、说明

了解本专栏 订阅专栏 解锁全文
『NLP学习笔记』CLIP文本图像自监督学习解读
AI新视界
03-17 2619
本文提出CLIP，Contrastive Language–Image Pre-training，用4亿对来自网络的图文数据集，将文本作为图像标签，进行训练。进行下游任务时，只需要提供和图上的concepts对应的文本描述，就可以进行zero-shot transfer。 模型在30个CV数据集上做了实验，实验任务包括OCR， action recognition in videos, geo-localization, and many types of fine-grained object class
【论文解读】CLIP：从自然语言监督中学习可迁移视觉模型
进一步有进一步的欢喜~
04-26 732
OpenAI提出CLIP（Contrastive Language-Image Pre-training），首次证明：通过对齐图像-文本对的对比学习，可构建通用视觉模型，直接用自然语言描述实现零样本迁移
大模型学习 -- CLIP
qq_30921029的博客
06-02 7003
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
【小白】一文读懂CLIP图文多模态模型
热门推荐
weixin_47228643的博客
03-15 13万+
CLIP（Contrastive Language-Image Pre-Training）模型是一种多模态预训练神经网络，由OpenAI在2021年发布，是从自然语言监督中学习的一种有效且可扩展的方法。CLIP在预训练期间学习执行广泛的任务，包括OCR，地理定位，动作识别，并且在计算效率更高的同时优于公开可用的最佳ImageNet模型。该模型的核心思想是使用大量图像和文本的配对数据进行预训练，以学习图像和文本之间的对齐关系。
CLIP 模型全面解析
weixin_62533513的博客
04-18 3211
图 1：CLIP 将相关的图像和文本映射到相近的向量空间位置，不相关的则距离较远 (例如，文本描述“两只狗在寒冷田野上奔跑”会被编码到与真实犬类奔跑场景图片相似的向量；而描述“大象在塞伦盖蒂”的文本与狗的图片在向量空间中距离很远。CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练）是 OpenAI 于 2021 年提出的一种多模态模型，它通过在海量图像-文本对上进行自监督训练，将图像和文本映射到简单来说，CLIP 包含两个主体：一个和一个。
CLIP论文阅读
zag666的博客
02-26 1145
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
AIM_FAS:论文“零镜头和少镜头面部反欺骗的学习元模型”的实现
05-11
＃此代码是“学习零元和少量镜头的面部反欺骗的元模型”论文的实现 协议文件夹中包含协议OULU-ZF的图像列表，并且协议Cross-ZF即将发布。 所需环境：tensorflow> = 1.4.0，opencv> = 3.0.0，依此类推。 要运行此代码，您应该首先使用PRNet或其他工具来生成面部深度图作为所有活动面Kong的标签。 所有欺骗面的标签都是零数组，形状为[32、32、1]。 数据结构：火车，val和测试集的每组都包含细粒度的活动和欺骗面Kong类型。 对于每种细粒度类型，它都包含多个面部图像以及相应的面部框文件和面部深度图图像。 图像，面部框文件和面部深度图像应分别以“ _scene.jpg”，“ _ scene.dat”和“ _depth1D.jpg”结尾。 @article {qin2020learning，title = {针对零拍几张面部反欺骗的学习元模型}，
多模态视觉模型：CLIP与ALIGN如何连接图文？
最新发布
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
05-14 5万+
多模态视觉模型：CLIP与ALIGN如何连接图文？ 在人工智能领域，实现图像和文本两种模态信息的有效关联与交互，一直是研究的热点和难点。模态视觉模型旨在打破图像与文本之间的 “语义鸿沟”，让计算机能够理解图像与文本背后的语义联系。CLIP（Contrastive Language-Image Pretraining）和 ALIGN（A Large-scale In-domain Generalized Representations from Transformers）作为其中的代表性模型。
VadCLIP：将视觉语言模型应用于弱监督视频异常检测
08-16
第二个分支利用 视觉语言对齐方法 实现多分类，为细粒度。 VadCLIP主要包括`3个组件`，分别为：①LGT-Adapter捕获时间依赖；②Two prompt mechanisms有效地将CLIP用到WSVAD任务；③MIL-Align实现了弱监督下对齐范式...
深入详解自然语言处理（NLP）中的语言模型：BERT、GPT及其他预训练模型的原理与应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
01-10 1703
【自然语言处理】——深入详解自然语言处理（NLP）中的语言模型：BERT、GPT及其他预训练模型的原理与应用
（2021，CLIP）基于自然语言监督学习可迁移视觉模型
qq_44681809的博客
03-23 1185
CLIP 模型学习在预训练期间执行各种各样的任务，然后通过自然语言提示来利用这些任务学习，从而实现向许多现有数据集的 zero-shot 迁移。在足够大的规模下，这种方法的性能可与监督模型相媲美，但仍有很大的改进空间。
【论文&模型讲解】CLIP（Learning Transferable Visual Models From Natural Language Supervision）
Friedrichor的博客
10-12 2万+
多模态模型 CLIP 讲解，对应论文 Learning Transferable Visual Models From Natural Language Supervision。CLIP 的方法很简单，但效果却意外的好。CLIP 的迁移能力是非常强的，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果，而且最重要的是它是 zero-shot 的，即完全没有在这些数据集上做训练就能得到这么高的性能。
【CLIP】多模态预训练模型CLIP论文详解
h661975的博客
12-20 2万+
CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision,) 和多模态学习方面的大量工作之上。CLIP是一个预训练模型，训练好的模型能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。
解锁视觉-文本双编码：CLIP类似模型的多GPU训练
数字人生
11-12 1758
2024年4月24日，由撰写。在本博客中，我们将构建一个类似CLIP的视觉-文本双编码器模型，并在AMD GPU上使用ROCm对其进行微调，使用。这项工作受到和的启发。我们的目标是联合训练一个视觉编码器和一个文本编码器，将图像及其描述的表示投射到相同的嵌入空间中，使文本嵌入位于描述其图像的嵌入附近。在训练过程中，目标是最大化批次内图像和文本对嵌入的相似性，同时最小化错误对的嵌入相似性。该模型通过学习一个多模态嵌入空间来实现这一点。使用对称交叉熵损失优化这些相似性分数。。
CLIP学习笔记
qwasdyt的博客
10-17 1290
CLIP是一个神经网络，它使用自然语言来监督视觉训练，可以将它运用到任何视觉分类任务，具体的就是将类别的名字用自然语言进行描述，然后和图片一起进行混合编码，可以0样本学习（zero-shot learning）。值得注意的是，该神经网络并没有使用到标签，是自监督学习。
神器CLIP：连接文本和图像，打造可迁移的视觉模型
强化学习曾小健
06-14 3012
2021年见证了vision transformer的大爆发，随着谷歌提出ViT之后，一大批的vision transformer的工作席卷计算机视觉任务。除了vision transformer，另外一个对计算机视觉影响比较大的工作就是Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型，这两个工作也像ViT一样带动了一波新的研究高潮。这篇文章将首先介绍CLIP
ComfyUI 中你不得不了解的插件，IPAdapter 基础的使用
2401_84760527的博客
05-24 1万+
IPAdapter 是一个轻量级的适配器，它的作用是将一张图像或几张图像的风格迁移到另一张图像上去，可以把它当作只有一张图像的 lora。通俗的讲就是垫图。IPAdapter 接受一张图像作为输入，将其编码为Token，并和标准的提示词输入混合作用于图像的生成。
大模型-CLIP 详细介绍
晓的博客
01-27 4696
最先进的计算机视觉系统通常被训练来预测一组预定义的对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为要指定任何其他视觉概念，就需要额外的标注数据。比如，它们可以识别“猫”、“狗”、“汽车”等。但是，这种做法有一个明显的局限性：如果你想让系统识别一个新的类别，比如说“独角兽”，你就必须提供大量带有“独角兽”标签的图片来训练系统。这不仅耗时费力，而且限制了系统的灵活性和广泛适用性。直接从原始文本中学习关于图像的信息是一种很有前途的替代方案，因为它利用了更广泛的监督来源。
CLIP：万物分类（视觉语言大模型）
aibigtruth的博客
11-13 3136
本文来着公众号“AI大道理”​论文地址：https://arxiv.org/abs/2103.00020传统的分类模型需要先验的定义固定的类别，然后经过CNN提取特征，经过softmax进行分类。然而这种模式有个致命的缺点，那就是想加入新的一类就得重新定义这个类别的标签，并重新训练模型，这样非常不方便。CLIP打破了这个桎梏。CLIP能做到在一定标签内进行训练，标签外的也能进行分类。那么CLIP到底是如何认识未知的事物的呢？1、从人脸识别开始说起最早的打破固定标签的方法和应用就是人脸识别了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无水先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值