Raki的读paper小记：CLIP:Learning Transferable Visual Models From Natural Language Supervision

最新推荐文章于 2024-09-30 13:49:56 发布
最新推荐文章于 2024-09-30 13:49:56 发布
阅读量874 收藏
点赞数
分类专栏： Multimodal 读paper 文章标签： 人工智能 深度学习 计算机视觉 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/126666709
版权

Abstract&Introduction&Related Work

  • 研究任务
    • 多模态对比学习+prompt
  • 已有方法和相关工作
  • 面临挑战
  • 创新思路
    • 使用文本和图像对配对来做无监督对比学习，并且使用prompt增强效果
  • 实验结论
    • sota
    • 有强大的zero-shot能力，可以匹敌ResNet50，甚至在一些任务上效果更好

CLIP

  • 将文本和图像经过Encoder抽取特征后，在一个batch里，对角线上的文本-图像对作为正样例，其余作为负样例进行对比学习
  • 在训练完整个模型后，使用prompt来增强模型的zero-shot能力，为每一个可能的类设计模板，并将分数最高的类作为最后的预测类别
    在这里插入图片描述

Natural Language Supervision

使用自然语言作为监督信号，把规模做大，并且不需要标注

Creating a Sufficiently Large Dataset

  • 自己弄了一个4亿 文本-图像对的数据集
  • 为了尽可能广泛地涵盖一组视觉概念，我们搜索（图像、文本）对，作为构建过程的一部分，其文本包括一组500000个查询中的一个，我们通过每个查询包含多达20000个（图像、文字）对来近似类平衡结果。结果数据集的总字数与用于训练GPT-2的WebText数据集相似。我们将此数据集称为WebImageText的WIT

Selecting an Efficient Pre-Training Method

  • 训练效率对多模态训练成功是至关重要的
  • 用图片来逐字逐句预测文本太难，而将其匹配很简单
  • 把预测性的目标函数换成对比型的，效率提高了四倍

在这里插入图片描述
CLIP的训练方法，非常简单

在这里插入图片描述

Choosing and Scaling a Model

  • 文本和图片编码器都不需要预训练
  • 使用了linear投射层，因为发现非线性没什么用（但是在单模态对比学习里面很游泳）
  • 数据增强只使用了crop
  • 温度设置成了可以学习的一个标量，直接优化掉
  • batch size 32768
  • 混合精度

Experiments

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Conclusions

我们研究了是否有可能将NLP中任务无关的网络规模预训练的成功转移到另一个领域

我们发现，采用该范式会使计算机视觉领域出现类似行为，并讨论了这一研究领域的社会影响。

为了优化训练目标，CLIP模型在预训练期间学习执行各种任务。然后，可以通过自然语言提示利用该任务学习，以实现对许多现有数据集的zero-shot。在足够的规模下，该方法的性能可以与任务特定的监督模型匹敌，尽管仍有很大的改进空间

Remark

算是小神作，实验巨大巨全，启发了后面多模态很多很多的工作，初步展现大模型在多模特领域的超强威力

爱睡觉的Raki
关注
专栏目录
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 3998
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
Raki的读paper小记：Kernel Continual Learning
Raki_J的博客
04-09 544
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 创新思路 部署了一个外显记忆单元，为每个任务存储一个子储存每个任务的子样本集，以学习特定任务的 基于核岭回归的分类器 不需要记忆重放，而且系统性地避免了分类器的任务干扰 我们进一步引入变分随机特征，来为每个任务学习一个数据驱动的内核，为此，我们将核持续学习表述为一个变分推理问题，其中随机傅里叶基被纳入为隐变量 实验结论 随机傅里叶基础上的变分后验分布是从每
Raki的读paper小记：DualNet: Continual Learning, Fast and Slow
Raki_J的博客
04-09 2990
Abstract & Introduction & Related Work 研究任务 持续学习 已有方法和相关工作 面临挑战 虽然无监督和元训练在简单的数据集如MNIST和Omniglot上显示出比较好的结果，但它们缺乏对现实世界基准的扩展性。相比之下，我们的DualNet将表征学习解耦到慢速学习器中，通过与监督学习阶段的同步训练，在实践中是可以扩展的。此外，我们的工作将自我监督的表征学习纳入持续的学习过程中，不需要任何预训练步骤 创新思路 提出了DualNet，其中包括一个快速
Raki的读paper小记：ConTinTin: Continual Learning from Task Instructions
Raki_J的博客
01-12 510
此工作提出了一个NLP持续学习新范式
Raki的读paper小记：PromptBERT: Improving BERT Sentence Embeddings with Prompts
Raki_J的博客
03-03 1658
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 ConSERT SimCSE 面临挑战 这些方法的目标是消除句子嵌入中的各向异性。然而，我们发现，各向异性并不是导致语义相似度差的主要原因。例如，在语义文本相似性任务中，对原始BERT的最后一层进行平均化甚至比对其静态标记嵌入进行平均化更差，但最后一层的句子嵌入比静态标记嵌入的各向异性要小一些 我们发现分布不仅偏重于频率，而且在WordP
Raki的paper复现：Transformer
Raki_J的博客
01-13 736
咕咕咕了很久，它终于要来辣！ 本blog将会按照paper中的顺序，完整复现transformer模型，但是不会有训练的部分，想看训练部分的请参考哈佛的blog原文（： reference： 哈佛大学NLP组的transformer复现 Transformer源码详解（Pytorch版本） 老规矩，先上整体架构图： Encoder and Decoder Stacks 此处的Encoder是堆叠之后的结果，每个layer是单个encoder，首先将其复制 NNN = 6次 class Encoder
递归变分网络：加速MRI重建
732递归变分网络：应用于加速MRI重建Geor geYiasemis1，2，Jan-Jak obSonk e1，ClarisaSa'nchez2，JonasTeuwen1，21荷兰癌症研究所，2阿姆斯特丹大学{g.yiasemis，j.sonke，j.teuwen} @ nki.nl，{c.i....
GrappaNet: 深度学习与多线圈MRI重建
14315GrappaNet：将并行成像与深度学习结合用于多线圈MRI重建AnuroopSriram 1JureZbontar 1TullieMurrell 1C.劳伦斯·齐特尼克1亚伦·德法齐奥1丹尼尔·K. Sodickson21Facebook AI Research（FAIR）2纽约大学医摘要...
Mathematica软件包：数据填补技术对个人总收入的精确分析和粗略计算
软件影响13（2022）100380原始软件出版物Mathematica中作为数据填补技术的精确分析粗略计算米蒂亚？乔克？托马什·特克什卢布尔雅那大学经济和商业学院，卡尔德。图版17，摩羯座，ColombiaA R T I C L E I N F O保留...
Problem:求两数之间所有的素数
weixin_52092817的博客
12-21 311
求两数之间所有的素数 #include<stdio.h> #include<stdlib.h> #include<math.h> int main() { int a,b,t,i,j; scanf("%d %d",&a,&b); if(a>b) { t=a; a=b; b=t; } for(i=a;i<=b;i++) { for(j=2;j<=(int)sqrt(i);j++) { if(i%j==0) break; }
Raki的网络流24题题解总结
Raki_J的博客
08-15 854
网络流24题： from：Luogu P4011 孤岛营救问题 P2756 飞行员配对方案问题 P2761 软件补丁问题 P4016 负载平衡问题 P3358 最长k可重区间集问题 P4014 分配问题 P4009 汽车加油行驶问题 P4015 运输问题 P2774 方格取数问题 P4012 深海机器人问题 P2762 太空飞行计划问题 P2770 航空路线问题 P2754 [CTSC1999]家园 / 星际转移问题 P3254 圆桌问题 P1251 餐巾计划问题 P2763 试题库问题 P2766 最
Raki的读paper小记：Dark Experience for General Continual Learning: a Strong, Simple Baseline
Raki_J的博客
04-10 1850
Abstract & Introduction & Related Work 研究任务 通用持续学习 已有方法和相关工作 面临挑战 忽略了实际场景的特性，即数据流不能被塑造为任务序列，而且离线训练也不可行 我们致力于实现一般持续学习（GCL），在这种情况下，任务边界模糊，领域和类别分布逐渐或突然转变。我们通过将重现与知识蒸馏和正则化相混合来解决这个问题；我们简单的baseline，即黑暗经验重放，与整个优化轨迹中采样的网络对数相匹配，从而促进与它的过去的一致性 创新思路 依靠黑暗知
Raki的nlp-begginer 提问
Raki_J的博客
03-08 1022
task1 logistic回归的公式？ softmax和logistic的异同点？ logistic函数的缺点 softmax的特点 解释下bag of words 和 n-gram，有什么缺陷 交叉熵损失的作用，为什么不选择最小均方误差或者绝对值误差？ task2 RNN，LSTM，GRU的结构，为什么可以缓解长程依赖问题？ word embedding？Word2Vec，GloVe，还知道其他的词表征方式吗？（textrank，tf-idf，LSA，pLSA，ELMo，GPT，fastText，
Raki的统计学习方法笔记0xF(15)章：奇异值分解
Raki_J的博客
03-09 956
奇异值分解是一种矩阵因子分解方法，是线性代数的基础概念，在统计学习中被广泛运用，PCA, LSA,pLSA都要用到SVD，而EM,LSA,MCMC,又是LDA的基础，故有了这个笔记顺序 任意一个 m * n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别是 m阶正交矩阵，由降序排列的非负的对角线元素组成的m * n 矩形对角矩阵 ，n阶正交矩阵 成为该矩阵的奇异值分解，矩阵的奇异值分解一定存在但是不唯一。 奇异值分解可以看做是矩阵数据压缩的一种方法，即用因子分解的方式近似表示原始矩阵，这种近似是在平方
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1248
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
最新发布
rjszcb的博客
09-30 521
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1324
Python深度学习的项目
Python/大数据/机器识别毕业设计选题题目推荐
初尘屿风的博客
09-27 995
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
持续学习与创新能力的双重提升
thinkers
09-25 567
  ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值