论文阅读-CLIP（文本-图片多模态）Learning Transferable Visual Models From Natural Language Supervision

已于 2023-02-17 15:29:53 修改
阅读量2.3k 收藏 15
点赞数 2
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-10-29 22:09:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127592932
版权

Paper：Learning Transferable Visual Models From Natural Language Supervision

Code：https://github.com/OpenAI/CLIP

引言：利用自然语言的监督信号去训练一个迁移效果很好的视觉模型，文字+图片多模态。

  • 其中，标签可以更改，不仅限于imageNet中的一千个类，可以换为任意的单词，图片也可以为任意的图片。

  • 彻底摆脱了分类标签这个性质，不论训练还是推理都不需要有提前定义好的类别。

  • 不仅能识别新的物体，而是真的把视觉和文字的语义联系到了一起，学到的特征语义性极强，迁移效果也很好。

在ImageNet数据集上训练的ResNet101准确率为76.2，与clip zero-shot迁移

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
CLIP预训练-基于Region-based实现的Language-Image多模态大模型CLIP的预训练-附项目源码+流程教程
06-02
CLIP（Contrastive Language-Image Pre-training）是由OpenAI开发的一种先进的多模态学习模型，它通过对比学习的方法将自然语言与图像信息融合在一起，实现了对图像内容的精确理解和跨模态的检索能力。本项目是基于...
多模态项目实战-文本-视频检索-打架识别
03-22
在这个名为“多模态项目实战-文本-视频检索-打架识别”的项目中，重点在于利用多模态技术，特别是BLIP大模型，实现文本-视频检索功能，具体应用是识别和检索视频中的“打架”行为。这个实战项目不仅限于打架行为的...
CLIP论文阅读
zag666的博客
02-26 936
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
【论文简介】CLIP：图像与自然语言配对预训练可迁移模型：Learning Transferable Visual Models From Natural Language Supervision
进一寸有一寸的欢喜
05-30 2877
CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision, ) 和多模态学习方面的大量工作之上。 CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT
IRENE：医学图像、文本、基因数据 + 多模态融合 + 疾病诊断模型
Debroon
05-15 1621
知网：面向深度学习的多模态融合技术研究综述医疗多模态文章：https://m.leiphone.com/category/healthai/CIeOmsPoB1YlP0An.html 以前做医学图像分类，就是纯图像做的，现在是融合多个信息源来做，多模态融合了。在临床诊断中，为了做出准确的决策，医生通常需要综合考虑患者的主诉、医学影像和实验室化验结果等多模态信息。目的：开发高效的多模态融合方法，以提高多模态诊断的准确性和效率。解法：多模态融合方法可以分为三类：早期融合、晚期融合和混合融合。如何用算法融合，是前
CLIP论文阅读【Learning Transferable Visual Models From Natural Language Supervision】
Iron_lyk Blog
09-25 1829
目前的计算机视觉模型都是在提前定义好类别的标签集合（数据集）中进行训练的，但是这些监督信号是有限制性的，就导致了限制了模型的泛化性和通用性，尤其是当模型面对新的类别的时候。因此作者提出了一种想法，通过语言信号来监督视觉模型，因为这样的数据是非常容易获取的。作者在互联网上爬了一个有4个亿的图像文本对数据集，来使用多模态的对比学习来训练模型，使用自然语言来引导视觉模型做物体的分类。实验结果证明，CLIP模型学到的特征是具有非常好的泛化性的，迁移效果非常好，能够在不使用任务一张ImageNet128万张训练集的
Learning Transferable Visual Models From Natural Language Supervision
大肉包的博客
07-04 5579
CLIP：Learning Transferable Visual Models From Natural Language Supervision
clip-summary
qq_43456497的博客
12-08 604
CLIP论文总结
人工智能-项目实践-预训练-open visual language model 多模态预训练模型
01-06
本项目实践将聚焦于一种称为Open Visual Language Model（开放视觉语言模型）的多模态预训练模型。 Open Visual Language Model是一种先进的模型，它结合了文本和图像信息，以理解和生成涉及视觉与语言的复杂任务。...
a state-of-the-art-level open visual language model - 多模态预训练模型
04-26
a state-of-the-art-level open visual language model | 多模态预训练模型 CogVLM是一个功能强大的开源视觉语言模型 (VLM)。 CogVLM-17B拥有100亿个视觉参数和70亿个语言参数，支持图像理解和多轮对话，分辨率为...
多模态三维重建-基于文本+图像CLIP驱动的神经辐射场NeRF控制-附项目源码-优质项目实战.zip
最新发布
06-03
在当前的IT领域，多模态三维重建是一个热门的研究方向，它结合了计算机视觉、自然语言处理和深度学习等技术，旨在通过不同的输入模态（如图像、文本等）来重建三维场景。这个项目的重点是利用文本和图像的融合信息...
多模态大模型应用-适用于多种语言的CLIP文本编辑器实现-附项目源码+流程教程-优质项目实战.zip
06-02
该项目是关于多模态大模型的应用，特别是针对CLIP（Contrastive Language-Image Pre-training，对比学习语言图像预训练）技术在文本编辑器中的实现。CLIP是一种强大的深度学习模型，由OpenAI开发，它能理解并关联...
人工智能-多模态-基于文本和多模态数据的风险识别（色情导流用户识别）
05-08
安装依赖 python依赖如下 lightgbm==3.2.1 numpy==1.19.2 pandas==1.1.5 sklearn==0.0 gensim==4.1.2 tqdm==4.50.2 安装依赖 pip install -r requirements.txt 使用方法 直接运行run.sh脚本即可 ...├── __pyca
多模态大模型应用-基于CLIP使用文本+图像提示实现图像分割算法-附项目源码+流程教程-优质项目实战.zip
06-02
多模态大模型应用_基于CLIP使用文本+图像提示实现图像分割算法_附项目源码+流程教程_优质项目实战
支持中英文双语视觉-文本对话的可商用多模态模型
12-27
支持中英文双语视觉-文本对话的开源可商用多模态模型 # install package conda create -n Cllava python=3.10 -y conda activate Cllava pip install --upgrade pip pip install -e . 快速测试 python infer.py \ ...
多模态大模型应用-基于CLIP实现的通过文本+参考图像设计发型-附项目源码+流程教程-优质项目实战.zip
06-02
多模态大模型应用_基于CLIP实现的通过文本+参考图像设计发型_附项目源码+流程教程_优质项目实战
CLIP原理解读——大模型论文阅读笔记一
Guo_Python的博客
06-07 6440
模型的输入是图片和文字的配对，图片输入到图片的encoder得到一些特征，文本输入到文本的encoder得到一些特征，每个traning batch里有n个图片-文本对，就能得到n个图片的特征和n个文本的特征，然后在这些特征上做对比学习，对比学习非常灵活，就需要正样本和负样本的定义，其它都是正常套路（不懂对比学习），配对的图片-文本对就是正样本，描述的是同一个东西，特征矩阵里对角线上的都是正样本，矩阵中非对角线上的元素都是负样本，有了正负样本，模型就可以通过对比学习的方式去训练了，不需要任何手工标注。
【论文阅读】CLIP：Learning Transferable Visual Models From Natural Language Supervision ------ 多模态，视觉，预训练模型
me_yundou的博客
02-21 7178
本博客的作用是，预习CLIP。在阅读CLIP文章前可以对文章的内容有个整体的认识，有利于阅读过程中充分理解CLIP。讲解CLIP的文章和博客已经非常多了，因此本博客不再逐字逐句解释或者翻译本文的主要内容，而是主要记录一些关键点，包括博主在初次阅读这篇文章时所遇到的问题，以及难以理解透彻的地方。故本博客以问答形式展开。
CLIP 论文阅读：Learning Transferable Visual Models From Natural Language Supervision
Je1zvz的博客
12-12 864
训练最先进的计算机视觉系统用来预测一组固定的物体类别。这种受限制的形式（指模型对于数据集没有的数据它并不能做得很好）限制了系统的泛化性和可用性，因为如果想要识别其他的视觉信息，还需要额外的数据进行训练（言外之意就是做不到zero-shot）。直接从关于图像的原始文本中去学习是一个很有前景的替代方式，它利用了更广泛的监督来源（网上都是，且只要是语言描述过的都可以被用作是监督信号）。
金融文本和图片多模态融合举例
05-23
以下是一个金融文本和图片多模态融合的示例： 假设一个金融分析师正在研究某家公司的业绩报告。他可以同时查看该公司的财务数据和相关的图片，例如： - 财务数据：该公司的季度销售额、净利润、资产负债表等。 - 图片数据：该公司的产品照片、生产线照片、营销广告等。 通过将这些数据进行多模态融合，分析师可以更全面地了解该公司的业绩情况。例如，他可以通过对销售额和产品照片进行比对，了解哪些产品在销售中表现良好，哪些产品需要改进。他还可以通过对净利润和资产负债表进行比对，了解该公司的财务状况，并得出投资建议。 总之，金融文本和图片多模态融合可以帮助分析师更全面地了解公司的业绩情况，从而做出更准确的投资决策。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值