CLIP模型

已于 2022-10-24 21:15:18 修改
阅读量1.2w 收藏 47
点赞数 13
分类专栏： # 深度学习 人工智能AI 文章标签： 深度学习 人工智能 python 1024程序员节
于 2022-10-22 22:51:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NEUQ_snowy/article/details/127468987
版权
什么是CLIP

Contrastive Language-Image Pre-Training—CLIP
利用文本的监督信号训练一个迁移能力强的视觉模型
在这里插入图片描述

  • 这个模型有什么用呢？想象我们有一个图像分类的任务
  • 训练1000个类别，预测一张图片是这1000个类别中的哪一类
  • 现在如果加入50个新的类别的图像，试想会发生什么呢？
  • 传统的图像分类模型无法对类别进行拓展，想要保证准确率只能从头开始训练，费时费力。
  • CLIP模型就可以用来解决这种问题，预训练后的模型就可以直接进行zero-shot

与前人工作对比：

  • CLIP论文指出，17年就已经开始有这些方法了，但是没获得太多关注。
  • 17年类似方法在ImageNet上的效果只要17%。
  • 然后openAI说：不是方法不行，而是资源不到位（暴力出奇迹）
  • 一个648解决不了，那就再来十次648.。。。

CLIP的成果：

  • CLIP在完全不使用ImageNet中所有训练数据的前提下
  • 直接Zero-shot得到的结果与ResNet在128W ImageNet数据训练效果一致
  • CLIP使用4亿个配对的数据和文本来进行训练，不标注直接爬取（没有解决transformer训练所需数据量大的缺点）
监督训练和zero-sho
最低0.47元/天 解锁文章
大模型学习笔记------CLIP模型解读与思考
gz7seven
11-07 2913
本文详细解读了CLIP模型的原理、推理与对应的一些思考。
Clip模型详解
培根芝士的专栏
10-16 2827
CLIP（Contrastive Language-Image Pre-training）是由OpenAI在2021年推出的一种基于对比学习的多模态预训练模型，它通过大规模的图像和文本数据进行训练，使得模型能够理解图像内容和相关文本之间的语义关系。这种模型能够同时理解文本和图像，可以看作是一个连接语言和视觉两种信息形式的桥梁。CLIP的核心贡献在于它打破了传统的固定类别标签范式，通过对比学习的方式，将图像和文本映射到同一个向量空间中，从而实现跨模态的检索和分类。
大模型-CLIP 详细介绍
晓的博客
01-27 3539
最先进的计算机视觉系统通常被训练来预测一组预定义的对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为要指定任何其他视觉概念，就需要额外的标注数据。比如，它们可以识别“猫”、“狗”、“汽车”等。但是，这种做法有一个明显的局限性：如果你想让系统识别一个新的类别，比如说“独角兽”，你就必须提供大量带有“独角兽”标签的图片来训练系统。这不仅耗时费力，而且限制了系统的灵活性和广泛适用性。直接从原始文本中学习关于图像的信息是一种很有前途的替代方案，因为它利用了更广泛的监督来源。
CLIP模型使用方法
m0_61736329的博客
03-08 748
对比训练：在batch中计算所有图像与文本的余弦相似度，每个图文对的相似度最高，处在对角线上，其余相似度低。文本编码使用Transformer，输出[batch_size，text_feature]图像编码使用ViT，输出[batch_size，picture_feature]3.3使用CLIP训练Logistic回归模型，分类CIFAR100。首先，每个batch的图文对分别进行图像编码和文本编码。输入一张图片，设置几个类别，输出softmax概率分布。本文主要记录CLIP模型的原理，安装，基本使用。
CLIP：万物分类（视觉语言大模型）
aibigtruth的博客
11-13 3036
本文来着公众号“AI大道理”​论文地址：https://arxiv.org/abs/2103.00020传统的分类模型需要先验的定义固定的类别，然后经过CNN提取特征，经过softmax进行分类。然而这种模式有个致命的缺点，那就是想加入新的一类就得重新定义这个类别的标签，并重新训练模型，这样非常不方便。CLIP打破了这个桎梏。CLIP能做到在一定标签内进行训练，标签外的也能进行分类。那么CLIP到底是如何认识未知的事物的呢？1、从人脸识别开始说起最早的打破固定标签的方法和应用就是人脸识别了。
【Datawhale跨模态实践学习笔记】跨模态模型学习
JeffDing
11-18 1170
跨模态模型学习
openai多模态大模型：clip详解及实战
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-20 6万+
零次学习（Zero-Shot Learning，简称ZSL）假设斑马是未见过的类别，但根据描述外形和马相似、有类似老虎的条纹、具有熊猫相似的颜色，通过这些描述推理出斑马的具体形态，从而能对斑马进行辨认。零次学习就是希望能够模仿人类的这个推理过程，使得计算机具有识别新事物的能力，如下图所示。如今深度学习非常火热，使得纯监督学习在很多任务上都达到了让人惊叹的结果，但其限制是：往往需要足够多的样本才能训练出足够好的模型，并且利用猫狗训练出来的分类器，就只能对猫狗进行分类，其他的物种它都无法识别。
CLIP-基于Pytorch实现的简洁明了的CLIP模型-附项目源码+流程教程-优质项目实战.zip
10-20
基于PyTorch实现的CLIP模型简洁明了，易于理解和应用。PyTorch是一个开源的机器学习库，它在研究社区中广受欢迎，特别是在深度学习领域。 该CLIP模型的项目源码提供了完整的实现流程，包括数据加载、模型架构定义、...
CLIP 模型从 .pt 到 .onnx 的 python 转化代码
05-20
本代码详细演示了如何将 OpenAI 的 CLIP 模型从 PyTorch 的 .pt 格式转换为 ONNX 格式，便于在多种平台上进行部署和加速推理。 适用人群：机器学习和深度学习开发者、模型部署工程师、需要在不同平台上高效运行模型...
【多模态】CLIP模型
qq_34845880的博客
05-22 6785
Title: Learning transferable visual models from natural language supervision 作者：Alec Radford * 1 Jong Wook Kim * 1 Chris Hallacy 1 Aditya Ramesh 1 Gabriel Goh 1 Sandhini Agarwal Girish Sastry 1 Amanda Askell 1 Pamela Mishkin 1 Jack Clark 1 Gretchen Kruege
OpenAI最重要的模型【CLIP】
新缸中之脑
02-11 9385
CLIP 代表 Contrastive Language-Image Pretraining：CLIP 是一个开源、多模态、零样本模型。给定图像和文本描述，该模型可以预测与该图像最相关的文本描述，而无需针对特定任务进行优化。开源：该模型由 OpenAI 创建并开源。稍后我们将看到有关如何使用它的编程教程。多模态：多模态架构利用多个领域来学习特定任务。CLIP 结合了自然语言处理和计算机视觉。零样本：零样本学习是一种在未见过的标签上进行泛化的方法，无需专门训练来对它们进行分类。
深度学习系列37：CLIP模型
kittyzc的博客
06-07 3万+
含义：CLIP（Contrastive Language-Image Pre-training） git地址：https://github.com/openai/CLIP paper：https://arxiv.org/abs/2103.00020 安装：pip install git+https://github.com/openai/CLIP.git
阅读笔记——CLIP模型
听了个听儿
02-01 472
CLIP模型关键点
多模态大模型（1）--CLIP
burstone的专栏
11-13 1002
CLIP的创新之处在于，它能够将图像和文本映射到一个共享的向量空间中，从而使得模型能够理解图像和文本之间的语义关系。这种共享的向量空间使得CLIP在图像和文本之间实现了无监督的联合学习，从而可以用于各种视觉和语言任务。
大模型学习 -- CLIP
qq_30921029的博客
06-02 6964
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
多模态：CLIP详解
WiSirius的博客
02-08 7119
2.8: 首先为今天还在努力学习的人们献上🎆CLIP目前无论在CV领域还是NLP领域都是人尽皆知的，该模型的发布直接带动了整个多模态领域的飞速发展。Open AI提出Contrastive Language-Image Pre-training (CLIP),突破了文本-图像之间的限制。CLIP使用大规模的文本-图像配对预训练，并且可以直接迁移到Imagenet上，完全不需要图像标签微调即可实现zero-shot分类。
模型实践｜ CLIP 模型
weixin_66945478的博客
03-28 1万+
CLIP(Contrastive Language-Image Pre-Training，以下简称 CLIP) 模型是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）💯。
【多模态】CLIP模型详解
向上生长的程序媛的博客
08-01 5219
CLIP在不使用任意一张 ImageNet 图片训练的情况下，直接 Zero-Shot 推理，就能获得跟有监督训练的ResNet-50同样优秀的结果，这么牛的预训练模型确定不点进来看看嘛
CLIP模型论文
最新发布
03-15
### 关于CLIP模型的研究论文 CLIP（Contrastive Language–Image Pre-training）是由OpenAI开发的一种多模态模型，旨在通过对比学习的方式联合训练文本和图像表示[^1]。该模型的核心目标是通过对大量互联网图片及其描述的学习，使得模型能够在无需额外微调的情况下完成多种下游任务。 #### CLIP模型的主要组成部分 CLIP模型由两部分组成：编码器和对比损失函数。其中，编码器分为两个分支——用于处理文本的Transformer架构以及用于处理图像的ResNet或Vision Transformer (ViT)[^2]。这两个分支分别将输入的文本和图像映射到同一高维空间中的向量表示。随后，通过计算这些向量之间的相似度并优化对比损失函数，使模型学会关联匹配的图文对，并排斥不匹配的组合[^3]。 #### 论文获取方式 CLIP模型的相关研究可以参考OpenAI发布的原始论文《Learning Transferable Visual Models From Natural Language Supervision》。这篇论文详细介绍了CLIP的设计理念、训练过程及其实验效果。此外，在引用[2]中提到的内容也提供了有关CLIP背景知识的理解路径，适合初学者作为入门资料阅读。 以下是实现CLIP的一个简单Python代码示例： ```python import clip import torch device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("RN50", device=device) image = preprocess(Image.open("example_image.jpg")).unsqueeze(0).to(device) text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device) with torch.no_grad(): image_features = model.encode_image(image) text_features = model.encode_text(text) logits_per_image, logits_per_text = model(image, text) probs = logits_per_image.softmax(dim=-1).cpu().numpy() ``` 此段代码展示了如何加载预训练好的CLIP模型并对给定的一张图片与多个标签进行匹配打分的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

snowy2002

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值