深度学习论文: Learning Transferable Visual Models From Natural Language Supervision

已于 2023-08-21 11:42:09 修改
阅读量488 收藏 3
点赞数
分类专栏： Deep Learning Paper Reading AIGC 文章标签： 深度学习 人工智能
于 2023-08-21 10:58:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/132403101
版权

深度学习论文: Learning Transferable Visual Models From Natural Language Supervision
Learning Transferable Visual Models From Natural Language Supervision
PDF: https://arxiv.org/pdf/2103.00020.pdf
官方代码: https://github.com/OpenAI/CLIP
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

CLIP（对比性语言-图像预训练）是一个在各种（图像，文本）对上进行训练的神经网络。它可以通过自然语言指令，在给定图像的情况下预测最相关的文本片段，而不是直接为任务进行优化，类似

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文阅读-CLIP（文本-图片多模态）Learning Transferable Visual Models From Natural Language Supervision
一位不是很硕的鉴伪方向硕士
10-29 3274
利用自然语言的监督信号去训练一个迁移效果很好的视觉模型，文字+图片多模态。
【自监督论文阅读笔记】Learning Transferable Visual Models From Natural Language Supervision
YoooooL_的博客
02-17 645
最先进的计算机视觉系统经过训练可以预测一组固定的预定对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据 来指定任何其他视觉概念。是一种很有前途的替代方案，它可以利用更广泛的监督来源。本文证明了是一种有效且可扩展的方式，可以在从互联网收集的 4 亿（图像、文本）对数据集上从头开始学习 SOTA 图像表示。预训练后，使用自然语言来引用学习到的视觉概念（或描述新概念），从而实现模型到下游任务的零样本迁移。
论文学习16：Learning Transferable Visual Models From Natural Language Supervision
最新发布
qq_63318216的博客
04-02 790
本文研究了在自然语言处理（NLP）领域取得成功的、与具体任务无关的大规模网络预训练方法，是否可以迁移到另一个领域。研究表明，采用这一方法后，在计算机视觉领域会出现类似的行为，我们也探讨了这一研究方向的社会影响。为了优化训练目标，CLIP 模型在预训练过程中学习执行多种不同的任务。这种任务学习可以通过自然语言提示（prompting）加以利用，从而实现对许多现有数据集的零样本（zero-shot）迁移。在足够大的规模下，这种方法的性能可以与特定任务的监督学习模型相竞争，尽管仍有很大的改进空间。t=P1C7。
CLIP Learning Transferable Visual Models From Natural Language Supervision
weixin_45104951的博客
04-10 3142
目录 1.引言 2.架构 3.Bag of Words和对比型目标函数来加速训练 4.伪代码 5.prompt engineering and ensembling 6.Linear Probe 7.CLIP与人对比 8.CLIP的局限性 1.引言 视觉语义与文本语义联系起来，学到的特征非常强，迁移的效果非常好。利用NLP的监督信号，学习一个迁移性能很好的视觉模型。文字图片的多模态工作，文字图片配对。 ImageNet128万数据集上CLIP使用zero-shot（不用Imag
【翻译/笔记】clip-Learning Transferable Visual Models From Natural Language Supervision
weixin_45454859的博客
06-02 1576
clip翻译和笔记
[ICML 2021] CLIP: Learning Transferable Visual Models From Natural Language Supervision
连理o的博客
02-19 3562
[ICML 2021] CLIP: Learning Transferable Visual Models From Natural Language Supervision
【论文精读】Learning Transferable Visual Models From Natural Language Supervision
HERODING23的博客
09-02 1276
CLIP作为多模态对比学习里程碑式工作，在创新性，有效性和领域性三个方面都拉满了。它最伟大的地方在于，打破了固有的基于给定类别分类的壁垒，让即使是未见过的类也能给出很好的结果，这大大提升了模型的灵活性，也让其更适配多种下游任务。PaperCodeFromICML2021目前CV系统最佳的模型都是基于固定对象类别进行训练的。这种监督训练方式限制了它们的通用性和可用性，直接从原始文本中学习图像是一种很有前途的替换方案，它可以利用更广泛的监督来源。
CLIP论文阅读：Learning Transferable Visual Models From Natural Language Supervision
weixin_46231495的博客
01-06 1950
~~~~~目前一些图像分类模型在有图像标签的分类数据上训练后可以达到很好的效果，但是这需要额外的标签数据，这种受限的监督形式限制了模型的通用性和可用性。因此作者提出从原始文本中直接学习图像信息，这可以利用更广泛的监督来源。作者在一个从互联网收集的包含4亿图文对的数据集上训练，证明了预测哪个标题与哪张图片匹配的简单预训练任务是一种高效且可扩展的方法，能够学习到SOTA图像表示。~~~~~~预训练后，可以直接使用自然语言实现下游任务的零样本迁移。
CLIP论文笔记：Learning Transferable Visual Models From Natural Language Supervision
u011426236的博客
04-26 1391
本文探索了是否可以将自然语言处理中任务无关的网络规模预训练的成功转移到其他领域。作者发现采用这种方法在计算机视觉领域产生了类似的行为，并讨论了这一研究方向的社会影响。为了优化它们的训练目标，CLIP模型学习在预训练期间执行多种任务。然后，可以通过自然语言提示利用这种任务学习，实现对许多现有数据集的零样本转移。在足够的规模下，这种方法的表现可以与特定任务的监督模型竞争，尽管仍有很大的改进空间。
CLIP: Learning Transferable Visual Models From Natural Language Supervision学习笔记
qq_35873493的博客
06-29 721
图像部分：图像通过一个 Image Encoder 得到一些特征，这个 encoder 既可以是 ResNet，也可以是 Vision Transformer。假设每个 training batch 都有 N个图像-文本对，那么就会得到 N 个图像的特征。模型的输入：若干个图像-文本对，比如如图最上面的数据中图像是一个小狗，文本是 ”Pepper the aussie pup”。论文最重要的点利用自然语言信号来训练一个比较好的视觉模型。模型的架构：分为两部分，图像编码器和文本编码器。
AI论文精读笔记-Learning Transferable Visual Models From Natural Language Supervision(CLIP)
小菜的博客
08-31 731
前面的工作CONVIRT和CLIP非常像，但只在医疗图像上做，同时之前的一些方法没有这么大的数据集，没有这么多的算力， 没有这么大的模型，没有这么好的自监督训练的方式， 所以大家的效果都不好(特别是zero-shot的情况下)，之前的这些方法，和借助自然语言中的监督信号去学习图像表征的方法，最大的区别在。在这个特征空间中，匹配的图像和文本对（例如，一张狗的图片和描述这张图片的文本）会被映射到相似的位置，而不匹配的对则会被映射到不同的位置。： CLIP的架构是通用的，不依赖于特定的视觉任务或领域。
【论文阅读】Learning Transferable Visual Models From Natural Language Supervision
weixin_57974242的博客
11-03 608
CLIP，从自然语言监督中学习可转移的视觉模型。
【CLIP】Learning Transferable Visual Models From Natural Language Supervision
weixin_43877335的博客
05-10 741
这篇论文是利用自然语言作为监督信号学习可迁移的视觉模型，学习到泛化性能好的特征，可以做zero-shot迁移，在各种数据集上或者各种任务直接推理能获得较好的效果。 在pre-train部分，通过对比学习，判断图像和文本是不是一个配对，而不是让图像预测文本，因为对比学习训练很高效。图像和文本分别通过各自的encoder得到图像特征和文本特征，图像的encoder可以采用resnet或者VIT，文本的encoder可以采用transformer，计算n个图像特征和n个文本特征之...
Paper小计：Learning Transferable Visual Models From Natural Language Supervision
huihuixiaoxue的博客
04-14 298
Abstract 参考自然语言学习视觉概念以及zero shot。 Introduction and Motivating Work
Learning Transferable Visual Models From Natural Language Supervision
hjzhang75的博客
10-22 2301
现有的最先进的计算机视觉系统通常被训练来预测一组固定的预定对象类别。这种受限的监督形式限制了模型的通用性和可用性，因为需要额外的标注数据来指定其他视觉概念。而直接从图像的**原始文本（raw text about images）**中学习是一种有前景的替代方法，它利用了更广泛的监督来源。我们证明了一个简单的预训练任务，即预测哪个图像（image）和哪个描述（caption）匹配，是一种从头开始在一个包含4亿对图像和文本数据的数据集上学习最先进（SOTA）图像表示的有效且可扩展的方法。
CLIP论文笔记--《Learning Transferable Visual Models From Natural Language Supervision》
热门推荐
weixin_44031582的博客
09-25 3万+
CLIP论文笔记--《Learning Transferable Visual Models From Natural Language Supervision》1、Introduction and Motivating Work2、Approach2.1自然语言监督2.2.创建一个足够大的数据集2.3选择一种有效的预训练方法2.4 Choosing and Scaling a Model2.5. Training3. Experiments3.1. Zero-Shot Transfer3.1.2 USI
【论文简介】CLIP：图像与自然语言配对预训练可迁移模型：Learning Transferable Visual Models From Natural Language Supervision
进一寸有一寸的欢喜
05-30 3575
CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision, ) 和多模态学习方面的大量工作之上。 CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT
Learning transferable visual models from natural language supervision
04-21
这是一个关于利用自然语言指导训练可转移的视觉模型的话题。在这个领域，研究人员探索如何从自然语言中获取视觉信息，以提高计算机的视觉理解能力。一些研究也关注于如何使用已经训练好的视觉模型来解决自然语言处理任务。这一领域的发展对于计算机视觉和自然语言处理领域都有着重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值