论文阅读-CLIP（文本-图片多模态）Learning Transferable Visual Models From Natural Language Supervision

已于 2023-02-17 15:29:53 修改
阅读量3.2k 收藏 16
点赞数 2
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-10-29 22:09:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127592932
版权
CLIP模型利用大规模的图文配对数据，通过自然语言监督信号训练，实现强大的零样本迁移能力。无需预先定义类别，模型在多个数据集上表现出优秀的泛化性能，尤其在物体识别上，与有监督的ResNet50效果相当。然而，对于抽象任务和特定领域任务，CLIP的性能有待提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper：Learning Transferable Visual Models From Natural Language Supervision

Code：https://github.com/OpenAI/CLIP

引言：利用自然语言的监督信号去训练一个迁移效果很好的视觉模型，文字+图片多模态。

  • 其中，标签可以更改，不仅限于imageNet中的一千个类，可以换为任意的单词，图片也可以为任意的图片。

  • 彻底摆脱了分类标签这个性质，不论训练还是推理都不需要有提前定义好的类别。

  • 不仅能识别新的物体，而是真的把视觉和文字的语义联系到了一起，学到的特征语义性极强，迁移效果也很好。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CLIP论文阅读：Learning Transferable Visual Models From Natural Language Supervision
weixin_46231495的博客
01-06 1948
~~~~~目前一些图像分类模型在有图像标签的分类数据上训练后可以达到很好的效果，但是这需要额外的标签数据，这种受限的监督形式限制了模型的通用性和可用性。因此作者提出从原始文本中直接学习图像信息，这可以利用更广泛的监督来源。作者在一个从互联网收集的包含4亿图文对的数据集上训练，证明了预测哪个标题与哪张图片匹配的简单预训练任务是一种高效且可扩展的方法，能够学习到SOTA图像表示。~~~~~~预训练后，可以直接使用自然语言实现下游任务的零样本迁移。
Learning transferable visual modals from natural language supervision（CLIP）文章阅读梳理
weixin_46090955的博客
04-14 969
作者提出先前的计算机视觉系统大多采用监督学习，他只能对预先定义的类别中的物体进行分类。作者在4亿文本-图像上预训练匹配文本和图像的模型，最后可以实现输入一个文本和其对应的图片之后，系统可以准确识别出图片对应的文本内容。
Learning Transferable Visual Models From Natural Language Supervision
大肉包的博客
07-04 6167
CLIP：Learning Transferable Visual Models From Natural Language Supervision
CLIP简单认识（笔记）
a2633845842的博客
03-07 840
上课时做的分享CLIP原文：Learning Transferable Visual Models From Natural Language Supervision。
【论文精读】CLIP：Learning Transferable Visual Models From Natural Language Supervision 从自然语言监督中学习可迁移的视觉模型
weixin_47748259的博客
03-25 2357
通过对 30 多个不同的现有计算机视觉数据集进行基准测试来研究这种方法的性能，涵盖 OCR、视频中的动作识别、地理定位和许多类型的细粒度对象分类等任务，最终发现该模型可以轻松地迁移到大多数任务，并且通常可以与完全监督的基线竞争，而无需任何数据集特定的训练。之前的自监督或者无监督方法主要研究的是特征学习的能力，目标是学习到泛化性较好的特征，但是在应用到下游任务时，还是需要有标签的数据去做微调。作者构建的数据集：包含 4 亿对（图像、文本）的新数据集，这些数据集是从互联网上的各种公开来源收集的。
【论文阅读】CLIP：Learning Transferable Visual Models From Natural Language Supervision ------ 多模态，视觉，预训练模型
me_yundou的博客
02-21 7664
本博客的作用是，预习CLIP。在阅读CLIP文章前可以对文章的内容有个整体的认识，有利于阅读过程中充分理解CLIP。讲解CLIP的文章和博客已经非常多了，因此本博客不再逐字逐句解释或者翻译本文的主要内容，而是主要记录一些关键点，包括博主在初次阅读这篇文章时所遇到的问题，以及难以理解透彻的地方。故本博客以问答形式展开。
【论文简介】CLIP：图像与自然语言配对预训练可迁移模型：Learning Transferable Visual Models From Natural Language Supervision
进一寸有一寸的欢喜
05-30 3557
CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision, ) 和多模态学习方面的大量工作之上。 CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT
AI论文精读笔记-Learning Transferable Visual Models From Natural Language Supervision(CLIP)
小菜的博客
08-31 725
前面的工作CONVIRT和CLIP非常像，但只在医疗图像上做，同时之前的一些方法没有这么大的数据集，没有这么多的算力， 没有这么大的模型，没有这么好的自监督训练的方式， 所以大家的效果都不好(特别是zero-shot的情况下)，之前的这些方法，和借助自然语言中的监督信号去学习图像表征的方法，最大的区别在。在这个特征空间中，匹配的图像和文本对（例如，一张狗的图片和描述这张图片的文本）会被映射到相似的位置，而不匹配的对则会被映射到不同的位置。： CLIP的架构是通用的，不依赖于特定的视觉任务或领域。
CLIP论文笔记：Learning Transferable Visual Models From Natural Language Supervision
u011426236的博客
04-26 1384
本文探索了是否可以将自然语言处理中任务无关的网络规模预训练的成功转移到其他领域。作者发现采用这种方法在计算机视觉领域产生了类似的行为，并讨论了这一研究方向的社会影响。为了优化它们的训练目标，CLIP模型学习在预训练期间执行多种任务。然后，可以通过自然语言提示利用这种任务学习，实现对许多现有数据集的零样本转移。在足够的规模下，这种方法的表现可以与特定任务的监督模型竞争，尽管仍有很大的改进空间。
CLIP: Learning Transferable Visual Models From Natural Language Supervision学习笔记
qq_35873493的博客
06-29 717
图像部分：图像通过一个 Image Encoder 得到一些特征，这个 encoder 既可以是 ResNet，也可以是 Vision Transformer。假设每个 training batch 都有 N个图像-文本对，那么就会得到 N 个图像的特征。模型的输入：若干个图像-文本对，比如如图最上面的数据中图像是一个小狗，文本是 ”Pepper the aussie pup”。论文最重要的点利用自然语言信号来训练一个比较好的视觉模型。模型的架构：分为两部分，图像编码器和文本编码器。
论文阅读 Learning Transferable Visual Models From Natural Language Supervisio
Jennifer_Love_Frank的博客
04-01 653
论文阅读整理
【翻译/笔记】clip-Learning Transferable Visual Models From Natural Language Supervision
weixin_45454859的博客
06-02 1563
clip翻译和笔记
【CLIP】Learning Transferable Visual Models From Natural Language Supervision
weixin_43877335的博客
05-10 741
这篇论文是利用自然语言作为监督信号学习可迁移的视觉模型，学习到泛化性能好的特征，可以做zero-shot迁移，在各种数据集上或者各种任务直接推理能获得较好的效果。 在pre-train部分，通过对比学习，判断图像和文本是不是一个配对，而不是让图像预测文本，因为对比学习训练很高效。图像和文本分别通过各自的encoder得到图像特征和文本特征，图像的encoder可以采用resnet或者VIT，文本的encoder可以采用transformer，计算n个图像特征和n个文本特征之...
论文精读--CLIP
m0_73202283的博客
11-13 2281
论文链接：CLIP的迁移学习能力非常强，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果CLIP是zero-shot零样本学习的模型，也就是说CLIP无需在这些数据集上进行训练就能得到很好的效果作者在超过30个数据集上做了测试，涵盖了OCR、视频动作检测、坐标定位和许多细分类任务在所有的测试结果当中，表现最突出的是在ImageNet上的结果，在不使用128万中的任何一张图片训练的情况下，能得到与训练好的Resnet-50同样的效果CLIP模型总览图。
CLIP 论文阅读：Learning Transferable Visual Models From Natural Language Supervision
Je1zvz的博客
12-12 1048
训练最先进的计算机视觉系统用来预测一组固定的物体类别。这种受限制的形式（指模型对于数据集没有的数据它并不能做得很好）限制了系统的泛化性和可用性，因为如果想要识别其他的视觉信息，还需要额外的数据进行训练（言外之意就是做不到zero-shot）。直接从关于图像的原始文本中去学习是一个很有前景的替代方式，它利用了更广泛的监督来源（网上都是，且只要是语言描述过的都可以被用作是监督信号）。
CLIP论文阅读
zag666的博客
02-26 1130
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
Contrastive Language-Image Pre-training论文
最新发布
03-17
### 关于Contrastive Language-Image Pre-training (CLIP) 的论文下载与阅读 #### CLIP的核心概念 CLIP（Contrastive Language-Image Pre-training）是一种基于对比学习的多模态模型，其主要目标是通过大量的文本-图像对来训练一个能够理解视觉和语言之间关系的通用表示[^3]。该模型利用对比学习的优势，在预训练过程中无需精确预测某个特定的文本描述，而是专注于判断哪些文本更可能与给定的图像相关联[^5]。 #### 论文获取途径 CLIP的相关研究由OpenAI团队完成，原始论文名为《Learning Transferable Visual Models From Natural Language Supervision》。可以通过以下几种方式进行下载： 1. **官方链接**: OpenAI通常会公开发布其研究成果，可以直接访问OpenAI官网并搜索“CLIP”或“Learning Transferable Visual Models From Natural Language Supervision”，找到PDF版本进行下载。 2. **学术资源平台**: 使用Google Scholar或其他学术搜索引擎输入关键词“Contrastive Language-Image Pre-training”或“CLIP paper”。这些平台上可能会提供免费的PDF下载选项。 3. **第三方存储库**: 如果无法直接从官方网站获得，则可以尝试在arXiv上查找是否有上传的版本。大多数机器学习领域的最新进展都会第一时间发布在此处。 #### 阅读建议 为了更好地理解和吸收CLIP的内容，推荐按照如下结构展开阅读： - **摘要部分**：快速了解整个工作的背景意义以及取得的主要成果。 - **方法论章节**：重点掌握如何构建损失函数实现对比学习机制；具体到正样本负样例的选择策略等方面[^4]。 - **实验分析**：注意作者是如何验证零样本迁移能力的有效性的，并且观察跨多种下游任务的表现情况。 以下是Python代码片段用于加载已发布的CLIP模型作为示例： ```python import clip import torch device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) image = preprocess(Image.open("example_image.jpg")).unsqueeze(0).to(device) text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device) with torch.no_grad(): image_features = model.encode_image(image) text_features = model.encode_text(text) logits_per_image, logits_per_text = model(image, text) probs = logits_per_image.softmax(dim=-1).cpu().numpy() print(f"Label probs: {probs}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值