【论文笔记】【CLIP】Learning Transferable Visual Models From Natural Language Supervision

最新推荐文章于 2024-07-26 13:24:37 发布
最新推荐文章于 2024-07-26 13:24:37 发布
阅读量514 收藏 3
点赞数
分类专栏： 计算机视觉 深度学习 对比学习 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44866655/article/details/125237621
版权

Auther: OpenAI
Source:arXiv:2103.00020
Code: openai/CLIP: Contrastive Language-Image Pretraining (github.com)

1 Intro

OpenAI收集了一个包含4亿text-image pair的数据集，在使用文本-图像对比学习的方式预训练网络，完全zero-shot迁移至超过30个数据集，其效果与之前有监督训练的模型差不多或更好，且泛化能力、鲁棒性更好。

在不使用ImageNet训练集的情况下，完全zero-shot可以达到Res50的效果。

CLIP打破了固定类别标签的范式。

CLIP的相关应用：StyleClip、ClipDraw等。

2 Approach

Alt

使用text-image pair进行对比学习，假设batchsize为N，那么就有N个正样本对， N 2 − N

最低0.47元/天 解锁文章
Merengue_l
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CLIP: Learning Transferable Visual Models From Natural Language Supervision学习笔记
qq_35873493的博客
06-29 436
图像部分：图像通过一个 Image Encoder 得到一些特征，这个 encoder 既可以是 ResNet，也可以是 Vision Transformer。假设每个 training batch 都有 N个图像-文本对，那么就会得到 N 个图像的特征。模型的输入：若干个图像-文本对，比如如图最上面的数据中图像是一个小狗，文本是 ”Pepper the aussie pup”。论文最重要的点利用自然语言信号来训练一个比较好的视觉模型。模型的架构：分为两部分，图像编码器和文本编码器。
CLIP: Learning Transferable Visual Models From Natural Language Supervision
qq_52771580的博客
06-18 906
《Learning Transferable Visual Models From Natural Language Supervision》阅读笔记
【翻译/笔记】clip-Learning Transferable Visual Models From Natural Language Supervision
weixin_45454859的博客
06-02 796
clip翻译和笔记
深度学习论文: Learning Transferable Visual Models From Natural Language Supervision
mingo_敏
08-21 289
CLIP（对比性语言-图像预训练）是一个在各种（图像，文本）对上进行训练的神经网络。它可以通过自然语言指令，在给定图像的情况下预测最相关的文本片段，而不是直接为任务进行优化，类似于GPT-2和GPT-3的零样本能力。发现CLIP在ImageNet的“零样本”上与原始的ResNet50的性能相匹配，而且没有使用任何原始的128万个标记示例，克服了计算机视觉中的几个重要挑战。
CLIP 论文学习笔记《Learning Transferable Visual Models From Natural Language Supervision》
weixin_47725177的博客
12-01 1124
CLIP：transformer又一里程碑 Learning Transferable Visual Models From Natural Language Supervision
CLIP : Learning Transferable Visual Models From Natural Language Supervision
Hanze的博客
05-08 686
之后采用对比学习的形式对这两组特征做点乘，结果作为模型的logits，对角线的元素表示了对应的文本与图像的乘积，优化目标就是让对角线的元素softmax后的结果趋近于1，其他趋近于0，分别以图像与文本两个维度做cross_entropy_loss，然后对二者loss加权求和计算总loss。在这篇文章，作者收集了4亿个（文本、图像）的数据对通过对比学习的方式对模型进行训练，发现在很多领域如OCR、分类等都能表现出很好的Zero-shot能力，有很好的泛化性，还发现模型的尺寸与精度成正比。
论文笔记：CLIP：Learning Transferable Visual Models From Natural Language Supervision详解
zcyzcyjava的博客
08-30 2885
CLIP使用的预训练方法：预测哪个标题与哪个图片相配这一简单的预训练任务是一种高效且可扩展的方式，可以在从互联网上收集的4亿对（图片、文本）数据集上从头开始学习SOTA图片表征。在预训练之后，自然语言被用来引用所学的视觉概念（或描述新的概念），使模型能够zero-shot地转移到下游任务中。......
CLIP Learning Transferable Visual Models From Natural Language Supervision
weixin_45104951的博客
04-10 2866
目录 1.引言 2.架构 3.Bag of Words和对比型目标函数来加速训练 4.伪代码 5.prompt engineering and ensembling 6.Linear Probe 7.CLIP与人对比 8.CLIP的局限性 1.引言 视觉语义与文本语义联系起来，学到的特征非常强，迁移的效果非常好。利用NLP的监督信号，学习一个迁移性能很好的视觉模型。文字图片的多模态工作，文字图片配对。 ImageNet128万数据集上CLIP使用zero-shot（不用Imag
Learning Transferable Visual Models From Natural Language Supervision
qq_41200212的博客
07-27 308
本文提出CLIP（Contrastive Language-Image Pre-Training）模型，使用对比学习的方式，直接从关于图像的原始文本中学习图像特征，以此利用更广泛的监督来源。本文在从互联网上收集的4亿**（图像, 文本）对数据集上进行预训练，测试时使用自然语言引用学习到的视觉概念，将与输入图像最匹配的文本标题作为分类结果，实现模型向下游任务的零样本**迁移。
【论文&模型讲解】CLIP（Learning Transferable Visual Models From Natural Language Supervision）
热门推荐
Friedrichor的博客
10-12 1万+
多模态模型 CLIP 讲解，对应论文 Learning Transferable Visual Models From Natural Language Supervision。CLIP 的方法很简单，但效果却意外的好。CLIP 的迁移能力是非常强的，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果，而且最重要的是它是 zero-shot 的，即完全没有在这些数据集上做训练就能得到这么高的性能。
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
04-02
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
Learning Transferable Architectures for Scalable Image Recognition
09-18
Developing neural network image classification models often requires significant architecture engineering. In this paper, we study a method to learn the model architectures directly on the dataset of ...
Learning transferable features with deep adaptation networks.pdf
07-28
Learning transferable features with deep adaptation networks.pdf，仅能供参考
hogmatlab源码-Learning-Transferable-Subspace-for-Human-Motion-Segmentatio
05-19
18论文（TSS）的代码。 TSS是一种用于时空中人类动作分割的新颖方法。 它利用标记良好的源视频来改善目标视频分割性能。 时间数据聚类是一项具有挑战性的任务。 现有方法通常会探索数据自我表示策略，这可能会在数据...
**卷积神经网络典型CNN**
HP2LF的博客
07-23 1323
SeNet(Squeeze-and-Excitation Networks)是ImageNet 2017年分类任务冠军，核心思想是：Squeeze(挤压、压缩)和Excitation(激励)两个操作，其主要目的是通过显示的构建特征通道之间的相互依赖关系，采用特征重定向的策略，通过学习的方式自动的获取每个特征通道的重要程度，然后依据***这个重要程度去提升有用的特征，并抑制对于当前任务用处不大的特征。Squeeze特征压缩操作，将每个feature map的特征数据使用全局平均池化操作转换为一个数值(实数)，
GPU驱动、CUDA 、cuDNN 和CUDA Toolkit之间的关系（深度学习小白必懂）
weixin_44115575的博客
07-23 1162
GPU驱动、CUDA、cuDNN和CUDA Toolkit之间有着紧密的关系，它们共同构成了一个完整的GPU编程和深度学习开发环境。 在最初配置anaconda环境时一直搞不明白它们之间的关系。所以根据自己的理解，通俗详细解释它们各自的角色和相互间的关系，并且列举了一些在anaconda虚拟环境中的例子。 不对的地方希望大家指正。
实验八: 彩色图像处理
智珂的博客
07-23 813
(1) 理解不同的彩色图像格式。 (2) 掌握伪彩色图像增强、真彩色图像变换基本知识。 (3) 掌握彩色图像的空间滤波基本操作。
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1800
2024钉钉杯思路
Learning transferable visual models from natural language supervision
04-21
这是一个关于利用自然语言指导训练可转移的视觉模型的话题。在这个领域，研究人员探索如何从自然语言中获取视觉信息，以提高计算机的视觉理解能力。一些研究也关注于如何使用已经训练好的视觉模型来解决自然语言处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值