DeCLIP 论文阅读

最新推荐文章于 2024-06-12 23:59:48 发布
最新推荐文章于 2024-06-12 23:59:48 发布
阅读量467 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52038588/article/details/134365822
版权

DeCLIP:supervision exists everywhere:a data efficient contrastive language-image pre-training paradigm

贡献：

  1. 论文是为了充分利用单模态和多模态，充分利用单模态特征用自监督（SIMSAM和MLM），多模态用图像文本对比学习实现；

  2. 一个图片的文本描述大部分都是集中在局部区域，作者使用RRC得到一个图像的局部区域进行实现；

  3. 一个图片有多种描述方式，提出用最近邻文本检索得到更多文本监督。（i.e.,对图像的文本描述1的特征向量在队列库中求余弦相似性得到最相似的描述2）

在SLIP基础上新增一个文本域的自监督，即该论文使用图片自监督+文本自监督+两倍图像-三倍文本对的对比学习。

模型

请添加图片描述

  • 图像自监督框架：SimSam
  • 文本自监督框架：MLM，每个句子中随机选择15%的单词，然后，80%的时间用【mask】替换单词，用10%的时间用随机token替换单词，用10%的时间不改变单词。最后得到语言模型对应的token域原始token进行交叉熵loss。
  • 图像-文本模态：原始的 CLIP 不使用文本增强，仅使用随机方形裁剪图像增强，因此需要大量数据。deCLIP使用随机数据增强，相比于原始CLIP，该论文监督信息更多。
  • 在嵌入空间中(具体来说是64K大小的队列)使用了Nearest-Neighbor获得相似性的文本信息。即，论文维护一个队列，在嵌入空间中使用最近邻检索得到一个最相似的文本描述。（隐式存在一对多，提供更好的监督信号，BLIP）

图片里灰色是原本的对比学习，绿的是自监督，橙色也是对比学习，蓝色是Nearest-Neighbor Supervision获得的最相似的文本和两个图片进行对比学习

总损失函数:

在这里插入图片描述

ref

https://zhuanlan.zhihu.com/p/585778761

B1CK
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大规模 Vision-Language 模型预训练的数据增强：Supervision Exists Everywhere
梁瑛平的博客
10-14 496
Supervision Exists Everywhere: A Data Efficient Contrastive Language-Image Pre-training Paradigm论文地址：代码地址：主要工作：核心思想：具体实现：CLIP：DECLIP：实验结果： 论文地址： https://arxiv.org/abs/2110.05208 代码地址： https://github.com/Sense-GVT/DeCLIP 主要工作： CLIP需要使用 400M 的图像-文本对来进行训练，而作者
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 1695
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
【JUST读论文 一些不偏视觉的CLIP相关工作】
black_diamond9的博客
03-27 719
读论文笔记 一些关于多模态CLIP的论文阅读
实验室可以训练(De)CLIP了！商汤ICLR2022 DeCLIP正式开源！
阿木寺的博客
03-29 7304
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作为2021年的重要里程碑，CLIP 一经问世便吸引了广大研究人员的关注。但是4亿的图片-文本对数据，数百张的GPU卡需求，让研究者望而生畏。为了解决CLIP训练的Data efficiency 问题，商汤科技推出DeCLIP 已被ICLR 2022接受，其DeCLIP-ResNet50可以在比CLIP使...
多模态之SLIP—将图像自监督加到CLIP中，形成自监督+语言监督的框架，细节理解与论文详细阅读：Self-supervision meets Language-Image Pre-training
小小帅
04-18 782
指出在视觉识别任务中，自训练比监督训练效果更好：最近的研究表明，在具有挑战性的视觉识别任务中，自监督预训练比监督学习更有效。CLIP 是一种令人兴奋的语言监督学习新方法，在各种基准测试中表现出了良好的性能。提出的SLIP：将自监督与CLIP相结合：在这项工作中，我们将探讨自监督学习能否帮助将语言监督用于视觉表征学习。我们介绍了 SLIP，这是一种将自监督学习和 CLIP 预训练相结合的多任务学习框架。zero-shot迁移、线性分类和端到端微调。
字节跳动CVPR 2023论文精选来啦（内含一批图像生成新研究）
字节跳动技术范儿
04-04 4806
计算机视觉领域三大顶会之一的 CVPR 今年已经开奖啦。今年的 CVPR 将于六月在加拿大温哥华举办，和往年一样，字节跳动技术团队的同学们收获了不少中选论文，覆盖文本生成图像、语义分割、目标检测、自监督学习等多个领域，其中不少成果在所属领域达到了 SOTA（当前最高水平）。一起来看看这些成果吧~
从视觉识别任务出发，深入探索视觉语言模型（VLM）基础篇章—VLM学习综述及论文详解：Vision-Language Models for Vision Tasks: A Survey
小小帅
02-29 1851
大多数视觉识别研究在深度神经网络（DNN）训练中严重依赖人群标签数据，而且通常为每个单一的视觉识别任务训练一个 DNN，导致视觉识别范式费时费力。为了应对这两个挑战:视觉语言模型（VLMs）最近得到了深入研究，该模型能从互联网上几乎无穷无尽的网络规模图像-文本对中学习丰富的视觉-语言相关性，并通过单个 VLM 对各种视觉识别任务进行zero-shot预测。本文系统回顾了用于各种视觉识别任务的视觉语言模型，包括介绍视觉识别范式发展的背景；总结广泛采用的网络架构、预训练目标和下游任务的 VLM 基础。
多模态大模型少样本自适应综述
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 59
为了通过微调提高模型的泛化性能，研究人员首先提出了基于提示的微调适应方法（例如，CoOp [14]），该方法将CLIP文本端的固定文本输入视为可学习的向量，然后使用少量样本进行微调，以适应下游任务。此外，引入基础语言模型或外部知识（如知识图谱，例如，CuPL [16]）的方法可以帮助模型更好地处理未见样本，增强其语义理解和鲁棒性，从而提高其在少样本适应任务中的性能。因此，在这篇综述中，本文介绍并分析了多模态模型少样本适应方法的研究进展，总结了常用的数据集和实验设置，并比较了不同方法的结果**。
由国内知名企业开源人工智能项目想到的
大漠帝国的博客
08-02 604
6、反倒是一些初创企业开源意愿较强，也是宣传和证明自己技术实力的一种方式吧，例如CV领域的AI四小龙中的商汤、旷视，又比如NLP领域的追一科技和香侬科技。4、不过与大众印象中阿里国内最强的开源互联网企业不同，阿里在AI领域的开源并不活跃，在CV、NLP似乎也见不到阿里的经典项目和论文。3、相较于创业公司，大公司开源动力更强，不过与美国头部互联网公司相比，国内公司的实力确实是不强，有影响力的项目更是少之又少。1、国内开源尤其是AI开源确实不太活跃，相对于企业，更多的可能是大学和个人。.........
Denoising based new Noise model
04-25
formations derived for variance-stabilization, debiasing, and declip- ping [6]. The spatio-temporal nonlocality of V-BM3D frees us from the need of an explicit registration of the frames. It results ...
对抗攻击论文阅读—AAAI2022—CMUA-Watermark
JustWantToLearn的博客
06-08 939
生成跨模型通用对抗水印(CMUA-Watermark)，保护大量面部图像免受多个深度伪造模型的攻击
【论文阅读】SELF-RAG，让模型决策和反思检索
bylander的博客
06-06 1104
Self-Rag框架训练流程涉及两个模型，一个是评价模型（Critic Model），一个是生成模型（Generator Model）。大概方法是，借助GPT-4形成数据集，训练评价模型；然后通过评价模型，生成新的数据集，再来训练生成模型。
论文阅读Rolling-Unet，卷积结合MLP的图像分割模型
wwimhere的博客
06-12 626
2）接着，在Rolling操作之后，R-MLP在每个空间位置索引 (hi,wj) 上执行带有权重共享的通道投影，以编码长距离依赖性。通道投影是指在特征矩阵的每个空间位置（即图像的每个像素位置）上，对所有通道的特征进行线性变换，以生成新的特征表示。通道投影的目的是将Rolling操作后的多通道特征进行整合和编码，以捕获长距离依赖性。在Rolling操作之后，每个空间位置的特征图可能会有不同的宽度或高度特征。
【论文阅读】MODELING AND SOLVING THE TRAVELING SALESMAN PROBLEM WITH PRIORITY PRIZES
小威的博客
06-07 947
本文研究了具有优先奖励（TSPPP）的旅行商问题，这是经典TSP的扩展，在目标函数中考虑了节点访问的顺序。当节点i以路线的第k个顺序访问时，旅行销售员收到奖励pki，而当销售员从节点i旅行到节点j时，产生旅行成本cij。TSPPP的目的是找到最大利润的n-节点之旅。这个问题可以被看作是一个具有更一般的目标函数的TSP变体，旨在针对在某种程度上考虑客户服务质量、交付优先级和成本的解决方案。
【LLM之RAG】KG_RAG论文阅读笔记
<p>专注挖坑</p>
06-12 893
该研究集中于通过将生物医学知识图谱（KG）与大型语言模型（LLMs）集成，以增强LLMs在生物医学应用中的表现。研究的动机源于LLMs在生成精确内容方面面临的挑战，尤其是在像生物医学这样准确性至关重要的领域。LLMs在广泛的通用文本上的传统训练并不总是能够在专业领域中转化为高准确性，这是因为模型尽管语言结构正确，却仍会生成错误信息（即“幻觉”）。
论文阅读KAN: Kolmogorov–Arnold Networks
wwimhere的博客
06-09 761
学习了最近大热的KAN网络。
论文阅读：Indoor Scene Layout Estimation from a Single Image
a486259的博客
06-10 1109
这是一篇比较早的论文，偶然发现。其亮点有二：1、将室内布局估计任务转换为语义分割任务，使用像素交叉熵+平滑边缘loss进行训练。2、构建布局退化模式，见2.3，实现了数据增强过程中的布局属性的变化. 该论文已经是6年前的，后续在该领域当有更优质的算法。实在不行，换个模型也有巨大的效果提升。 该论文主要是带来启发：1、语义分割模型还能这样子使用，作用于室内布局估计；2、任务转换的启发，将室内布局任务转换为语义分割，那室内布局任务也可以转换为关键点检测等任务；3、特定任务场景下的数据增强模式存在label的退
论文阅读：All-In-One Image Restoration for Unknown Corruption
a486259的博客
06-09 812
从论文方法上看，AIRNet提出了一种较为简易的pipeline，以单一网络结构应对多种任务需求（不同类型，不同程度）。但在效果上看，ALL-In-One是不如One-By-One的，且本文方法的亮点是batch内选择patch进行对比学习。在与sota对比上，仅是Denoise任务精度占优，在Derain与Dehaze任务上，效果不如One-By-One的MPRNet方法。虽然精度不足，但方向是对了，在2024年，该方向或许有更优秀的论文
论文阅读ReLU-KAN和Wav-KAN
最新发布
wwimhere的博客
06-12 177
这是我读KAN系列论文的第三篇，今天把两篇论文放在一起写，分别是：Wav-KAN：之所以放在一起，是因为这两篇论文针对KAN的改进思路是相似的，都是采用新的基函数，来替代KAN中的B样条函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值