多模态CLIP魔改版太强了！直接上岸CVPR！

最新推荐文章于 2025-03-17 18:49:22 发布
最新推荐文章于 2025-03-17 18:49:22 发布
阅读量2k 收藏 19
点赞数 20
分类专栏： 深度学习干货 人工智能干货 文章标签： 人工智能 深度学习 计算机视觉 CLIP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/144831728
版权

CLIP，一个由OpenAI开发的多模态预训练模型。近年来由于多模态的爆火，CLIP的研究热度也呈爆发式增长，CVPR 2024上只要是多模态方向的，几乎都在用CLIP。

CLIP被广泛应用于视觉理解、图像问答、机器人/具身智能等多个领域，这源于它卓越的视觉表征能力、良好的可扩展性，以及强大的跨模态连接文本与图像的能力。但显然，CLIP仍然有许多问题等待改进，比如处理细节和复杂关系的能力有限、对计算量的要求太高...

目前，我们对CLIP的改进创新基本围绕这些问题展开，且已经出现了不少值得学习的研究成果，比如ECCV 2024上的 AdaCLIP的框架，在零样本异常检测中实现了显著的性能提升！还有NeurIPS 2024的TripletCLIP、AAAI 2024的Structure-CLIP...

可见各大顶会上有关CLIP的改进研究真的是相当火热。本文整理了11个CLIP最新改进方案，全部都是顶会paper，基本都有代码，有论文需求的同学可以直接拿来作参考。

全部论文+开源代码需要的同学看文末

[ECCV2024] AdaCLIP: Adapting CLIP with Hybrid Learnable Prompts for Zero-Shot Anomaly Detection

方法：论文提出了一个名为AdaCLIP的框架，它是对预训练的视觉-语言模型（VLM）CLIP的改进，用于零样本异常检测任务。AdaCLIP通过引入可学习的提示（prompts）来增强CLIP模型&

最低0.47元/天 解锁文章
CVPR 2024 论文研读 《MoDE: CLIP Data Experts via Clustering》
Little_Dream_etc的博客
07-22 2102
整体下来，这篇文章主要是提出了在细粒度和粗粒度两个层面上进行聚类来提高CLIP中负样本的质量，从而实现了比OpenAI CLIP以及MetaCLIP更好的结果。
【CVPR2024】北大&长安联合提出相机-毫米波雷达多模态感知算法RCBEVDet问鼎SOTA！
FelixTea的博客
09-28 1807
与激光雷达传感器相比，相机传感器可以捕捉颜色和纹理等复杂细节，提供丰富的语义信息，同时毫米波雷达传感器可以更好的克服各种天气状况和光照条件的影响，并具有更强的距离和速度的检测能力。在本文中，作者提出了相机和毫米波雷达多模态融合的3D目标检测算法RCBEVDet，在nuScenes和VoD数据集的3D目标检测任务上实现了SOTA的表现性能，超过了现有的camera-only以及radar-camera的3D目标检测算法。
CVPR 2024 视觉语音方向总汇（视觉理解、视觉定位、大模型和多模态模型等）
qq_36812406的博客
01-23 849
视觉理解、视觉定位、大模型和多模态模型等
【大模型开发】最强视觉大模型CLIP解析与案例
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-17 1059
CLIP（Contrastive Language-Image Pretraining）由 OpenAI 提出，是一种能够学习文本和图像匹配关系的对比学习模型，可以用于零样本图像分类、文本引导的图像检索、视觉问答（VQA）、图像生成增强等多种任务。
大模型-CLIP 详细介绍
晓的博客
01-27 4255
最先进的计算机视觉系统通常被训练来预测一组预定义的对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为要指定任何其他视觉概念，就需要额外的标注数据。比如，它们可以识别“猫”、“狗”、“汽车”等。但是，这种做法有一个明显的局限性：如果你想让系统识别一个新的类别，比如说“独角兽”，你就必须提供大量带有“独角兽”标签的图片来训练系统。这不仅耗时费力，而且限制了系统的灵活性和广泛适用性。直接从原始文本中学习关于图像的信息是一种很有前途的替代方案，因为它利用了更广泛的监督来源。
大模型学习 -- CLIP
qq_30921029的博客
06-02 6984
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
CLIP模型原理与代码实现详解
热门推荐
weixin_38252409的博客
10-15 5万+
目前，大模型十分活跃，openai公司呈现GPT系列，特别是Chat-GPT给人深刻印象，意识到大模型厉害之处，随后推出GPT4模型，更是将大模型进一步推到一个高度，并将多模态融合技术留下深刻印象，同时，学者也对多模态融合技术研究呈现百花齐放之势。然而，多模态模型大多以CLIP所提方法或思路实现多模态融合。为此，本文将重新回顾CLIP论文相关理论，也重点梳理其源码，并附其代码供读者参考(本文会涉及VIT与BERT代码解读)。
CLIP解读
不积跬步，无以至千里！
03-17 1794
CLIP多模态模型详细解读！
CLIP介绍
weixin_43480889的博客
05-23 4343
CLIP的基本介绍
Facebook 推出多模态通用模型 FLAVA，吊打 CLIP 平均十个点！ .pdf
08-12
Facebook推出的多模态通用模型FLAVA，吊打CLIP平均十个点！ FLAVA模型是一种多模态通用模型，由Facebook AI研究团队提出，旨在解决多模态任务中的限制问题。该模型可以在三个不同领域的不同任务上取得出色的表现，...
Facebook 推出多模态通用模型 FLAVA，吊打 CLIP 平均十个点！ .rar
10-18
标题中的“Facebook 推出多模态通用模型 FLAVA，吊打 CLIP 平均十个点！”揭示了本次讨论的核心内容：Facebook 已经发布了一种名为 FLAVA 的新型多模态模型，它在与 CLIP（对比学习的图像-文本嵌入）的对比测试中...
多模态融合目标检测新SOTA！推理速度提升2.7倍，实现最先进性能
学姐带你玩AI的博客
06-03 7433
为解决传统目标检测在复杂环境下效果不佳等问题，研究者们提出了。通过整合来自多个传感器的数据，充分利用不同传感器的优点，多模态融合目标检测能够更全面地捕捉目标信息，显著因此，这种深度学习方法逐渐成为了主流，相关的最新研究成果非常丰富。比如Fusion-Mamba，在公共RGB-IR数据集上实现最佳性能；Fully Sparse Fusion，在推理速度上超越SOTA方法2.7倍。为方便各位理解和复现，我这次整理了，已开源的代码都附上了，论文可参考创新点做了简单分析，希望可以给各位带来一些灵感。
基础论文学习（4）——CLIP
ZhengrongYue的博客
08-22 1万+
基础论文学习（4）——CLIP
CLIP模型学习笔记
weixin_49787382的博客
10-29 3030
clip模型学习笔记
clip预训练模型综述
zcyzcyjava的博客
08-27 2万+
CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量无标签数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT、ViT的区别在于，CLIP是多模态的，包含图像处理以及文本处理两个方面内容，而BERT、GPT是单文本模态的，ViT是单图像模态的。.........
CLIP：万物分类（视觉语言大模型）
aibigtruth的博客
11-13 3097
本文来着公众号“AI大道理”​论文地址：https://arxiv.org/abs/2103.00020传统的分类模型需要先验的定义固定的类别，然后经过CNN提取特征，经过softmax进行分类。然而这种模式有个致命的缺点，那就是想加入新的一类就得重新定义这个类别的标签，并重新训练模型，这样非常不方便。CLIP打破了这个桎梏。CLIP能做到在一定标签内进行训练，标签外的也能进行分类。那么CLIP到底是如何认识未知的事物的呢？1、从人脸识别开始说起最早的打破固定标签的方法和应用就是人脸识别了。
CLIP论文详解
weixin_52185313的博客
06-10 1万+
CLIP算是在跨模态训练无监督中的开创性工作，作者在开头梳理了现在vision上的训练方式，从有监督的训练，到弱监督训练，再到最终的无监督训练。这样训练的好处在于可以避免的有监督的 categorical label的限制，具有zero-shot性质，极大的提升了模型的实用性能。这篇文章中作者提到早在2017年之后就陆续有工作提出和本文类似的想法，但是他们的数据大小都太小了，导致没有很好的结果。作者单独收集了一份含有4亿份数据的大数据集，才得以得到很好的效果。这种现象最近好像在机器学习领域越来越突出，力大砖
CLIP论文讲解和代码实操
zyw2002的博客
04-17 7176
研究动机作者的研究动机就是在 NLP 领域利用大规模数据去预训练模型，而且用这种跟下游任务无关的训练方式，NLP 那边取得了非常革命性的成功，比如 GPT-3。作者希望把 NLP 中的这种成功应用到其他领域，如视觉领域。在预训练时 CLIP 使用了对比学习，利用文本的提示去做 zero-shot 迁移学习。在大规模数据集和大模型的双向加持下，CLIP 的性能可以与特定任务的有监督训练出来的模型竞争，同时也有很大的改进空间。CLIP 概述。
【深度学习】详解 CLIP
闻韶
12-01 1万+
【深度学习】详解 CLIP - Learning Transferable Visual Models From Natural Language Supervision
医学影像clip改进模型
01-15
### 医学影像 CLIP 模型的改进方法 医学影像处理领域中的对比学习表示预训练（Contrastive Learning of Image Pre-training, CLIP）模型已经在多种任务上展示了强大的性能。然而，在特定医疗场景下，为了提高其适用性和准确性，研究人员提出了若干针对性的改进措施。 #### 数据增强策略优化 传统的数据增强方式可能无法充分挖掘医学图像特有的结构特征。为此，有研究表明引入专门针对医学成像特点的数据扩增手段能够显著提升CLIP模型的表现[^1]。例如，采用随机裁剪、旋转以及仿射变换等方式来增加样本多样性的同时保持解剖位置的一致性。 #### 多模态信息融合 考虑到单一类型的医学影像是有限度地反映病灶情况的事实，结合其他形式的信息源成为一种有效的解决方案。文献指出利用多模态输入——如CT扫描与MRI图像相结合——可以让CLIP更好地捕捉病变区域的空间分布特性及其周围环境变化模式[^3]。这不仅有助于改善分类效果，还能够在一定程度上弥补单种成像技术固有的局限性。 #### 领域自适应迁移学习 由于公开可用的大规模高质量标注过的医学图片库相对稀缺，跨机构间存在较大差异等原因造成训练集偏差问题较为突出。因此，实施领域自适应算法使得经过一般自然场景下的大规模无标签数据预先训练好的CLIP权重参数更容易迁移到目标医疗子域内，并减少过拟合风险[^4]。具体做法包括但不限于微调最后一层全连接网络以适配新类别定义；应用对抗神经网络实现源域和目的域之间表征空间对齐等技巧。 ```python import torch.nn as nn class DomainAdaptationLayer(nn.Module): def __init__(self, input_dim=768, hidden_dim=256, output_dim=10): super(DomainAdaptationLayer, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.dropout = nn.Dropout(0.5) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x): out = self.fc1(x) out = self.relu(out) out = self.dropout(out) out = self.fc2(out) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值