小样本CLIP这么做！CVPR和NeurIPS双双拿下！屡试不爽！

于 2025-02-05 15:11:30 发布
阅读量914 收藏 12
点赞数 13
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aimoxin111/article/details/145455694
版权

AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！

2025深度学习发论文&模型涨点之——小样本CLIP

小样本CLIP是指在少量样本的情况下，利用CLIP模型进行分类或其他任务。CLIP通过对比学习将图像和文本映射到一个共同的特征空间，能够有效处理小样本学习任务。

    • CLIP的零样本分类能力使其能够在训练过程中不需要任何标记示例的情况下对新类别进行分类。它通过为文本描述生成嵌入，并计算输入图像嵌入与文本嵌入之间的余弦相似度来完成分类。
    • 研究人员提出了一种语义感知微调方法，通过利用先验知识对CLIP模型进行微调，提高其在少样本学习任务中的性能。该方法通过生成具有语义关联的条件图像块来增强模型对输入图像的特征表示。 

    小编整理了一些小样本CLIP【论文】合集，以下放出部分，全部论文PDF版皆可领取。

    需要的同学

    回复“111”即可全部领取

    论文精选

    论文1：

    AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning

    AMU-Tuning：基于CLIP的少样本学习中的有效逻辑偏差调整

    方法

      • 统一公式分析：首次从逻辑偏差的角度对C

      最低0.47元/天 解锁文章
      Ai墨芯111
      关注
      Clip+小样本学习 顶会顶刊轻松发！
      d22800的博客
      02-22 829
      在11个基准数据集上进行了广泛的实验，证明了KCL作为无需训练的即插即用模块在零样本和少样本学习任务中的有效性，与原始方法相比，KCL在1-shot设置中平均提升了3.04%-3.60%，在2-shot设置中提升了1.90%-5.20%，在4-shot设置中提升了1.32%-4.69%。基于对逻辑偏差关键组件的分析，提出了高效的AMU-Tuning方法，其核心是通过利用适当的辅助特征和多分支训练的特征初始化线性分类器来学习有效的逻辑偏差，然后通过基于不确定性的融合进行少样本分类。
      ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！
      AIGCer的博客
      07-24 3138
      论文链接：https://arxiv.org/pdf/2311.16445代码链接：https://github.com/YichaoCai1/CLAP亮点直击：本文提出了一种通过对比学习和数据增强，从因果角度微调预训练CLIP类模型的原始特征，以改进其视觉-语言特征的方法。：本文提出了一种针对预训练CLIP类模型的定制化方法。该方法利用一个解耦网络，通过对比学习和图像增强进行训练，从CLIP类模型的图像编码器提供的学习特征中提取潜在内容特征。
      PyTorch实践：图像分类的小样本学习
      idol24的博客
      10-26 1240
      作者丨Aryan Jadon来源丨DeepHub IMBA 编辑丨极市平台近年来，基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集，包含1000种不同的对象分类，现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程，标记训练数据的可用性对它们有重大影响，并且模型能够检测到的类别也仅限于它们接受训练的类。由于在训练过程中没有...
      技术前沿 |【CLIP模型原理及其在零样本学习任务中的应用】
      尺小闹的博客
      05-22 2526
      本文将详细介绍CLIP模型的基本原理和训练方法，并探讨其在零样本学习任务中的应用和优势，最后分析CLIP在实际应用中的案例和潜在的发展前景。此外，随着多模态数据的不断增加和计算能力的不断提升，CLIP模型有望实现更高效的训练和更准确的预测。CLIP模型是一种基于大规模语言-图像对比预训练的模型，旨在通过对比学习的方式，将文本和图像嵌入到同一特征空间中，从而实现跨模态的相似度匹配。：由于CLIP模型在训练过程中学习到了大量的图像和文本数据，因此它能够在未见过的类别上表现出良好的泛化能力。
      CVPR2024 | PromptAD: 仅使用正常样本进行小样本异常检测的学习提示
      08-16 3122
      本文提出的PromptAD模型结构如图2所示。PromptAD建立在VV-CLIP之上，其视觉编码器用于提取全局和局部的特征。本文提出的语义串联（SC）用来设计提示。具体来说，将N个可学习的普通前缀与目标名称串联起来获得普通提示（NPs），然后将这N个普通提示分别与M个手动设置的异常后缀和L个可学习的异常后缀串联，以获得N×M个异常提示（MAPs）和N×L个可学习的异常提示（LAPs）。视觉特征和提示特征用于通过对比损失和本文提出的显式异常边界（EMA）损失来完成提示学习。
      【CLIP】多模态预训练模型CLIP论文详解
      热门推荐
      h661975的博客
      12-20 2万+
      CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision,) 和多模态学习方面的大量工作之上。CLIP是一个预训练模型，训练好的模型能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。
      最新热点！结合创新！小样本学习+CLIP：超好上手的思路，爽发顶会顶刊
      学姐带你玩AI的博客
      09-14 2393
      这个思路的优势在于：通过利用CLIP模型强大的跨模态表征能力，再结合小样本学习技术，我们就可以在仅提供少量标注样本的情况下，快速适应新的任务，在多个领域实现高效的学习。更值得一提的是，最近这个方向吸引到了一大波研究兴趣，各大顶会顶刊上相关成果数量繁多，比如收录于CVPR 2024的AMU-Tuning方法、DeIL方法等，以及顶刊IJCV 2024上的CLIP-FSAR框架，投稿热度可见一斑。为了帮助有论文需求的同学更好地掌握这个创新思路，今天我就来分享都是今年最新，开源代码已附~
      “王牌搭档”频域+MLP拿下CVPR屡试不爽！最新idea创新性超群！
      学姐带你玩AI的博客
      10-09 1137
      朋友们，时间序列预测领域又有一篇CVPR了！这次是一种新型域泛化架构ALOFT，结合了，实现了超91%的预测准确率和SOTA性能！这类频域MLP模型其实是时序预测领域一种非常重要的方法，它通过独特的结合方式，给我们提供了一个新的研究视角，因此这个方法逐渐受到了广泛的关注和应用，NeurIPS上的新研究FreTS也验证了频域MLP是更好的时序预测方法，热门程度可见一斑。为了帮同学们抓紧机会，我已经挑选好了分享，代码基本都有，想快点找idea发顶会的别错过啦~论文原文+开源代码需要的同学看文末。
      多模态CLIP魔改版太强了！直接上岸CVPR！
      最新发布
      学姐带你玩AI的博客
      12-30 2070
      CLIP，一个由OpenAI开发的多模态预训练模型。近年来由于多模态的爆火，CLIP的研究热度也呈爆发式增长，CVPR 2024上只要是多模态方向的，几乎都在用CLIP。CLIP被广泛应用于视觉理解、图像问答、机器人/具身智能等多个领域，这源于它卓越的视觉表征能力、良好的可扩展性，以及强大的跨模态连接文本与图像的能力。但显然，CLIP仍然有许多问题等待改进，比如处理细节和复杂关系的能力有限、对计算量的要求太高...目前，我们对。
      CVPR 2025 新势力：扩散模型在小样本学习中的崛起
      m0_59164304的博客
      11-14 4257
      是一种新兴的生成模型，，使其还原到原始的高质量状态，或者逆向生成新的数据。这种模型被广泛应用于。在中，扩散模型能够通过生成多样化的合成样本来帮助模型更好地泛化。。：受最近的扩散模型的启发，我们发现内环梯度下降过程可以看作是扩散的反向过程（即去噪），其中去噪的目标是基础学习者的权重，而不是原始数据的权重。在此基础上，我们提出将梯度下降算法建模为扩散模型，然后提出一种新的基于条件扩散的元学习，称为MetaDiff，有效地以去噪的方式建模基础学习者权值从高斯初始化到目标权值的优化过程。
      ICCV 2023 | CLIP驱动的器官分割和肿瘤检测通用模型
      阿木寺的博客
      09-30 3891
      点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【医疗影像和图像分割】交流群在CVer微信公众号后台回复：CLIP分割，可以下载本论文pdf和代码！学起来！转载自：GiantPandaCVCLIP-Driven Universal Model for Organ Segmentation and Tumor Detection论文：https://arxiv....
      DeepBDC:最强小样本学习，CVPR2022 SOTA，小样本分类
      m0_63642362的博客
      06-21 5758
      DeepBDC文献提出了深度布朗距离协方差方法用于解决小样本分类问题。DeepBDC的核心思想是通过测量嵌入特征表示的联合特征函数与边缘特征函数的差异，来学习图像的表征。
      小样本学习太犇了！结合目标检测发A会！
      m0_73122726的博客
      11-05 862
      文章详细比较了不同FSOD设置下的最新方法，并分析了它们的评估协议，提供了应用、挑战和未来方向的见解。研究通过量化目标检测数据集的文本描述性，评估了OVD和传统封闭集目标检测（COD）在不同类别下的性能，并提出了OVD在某些情况下的局限性和适用性。本文对少样本目标检测（FSOD）的研究进行了全面回顾，涵盖了标准FSOD、广义FSOD、增量FSOD、开放集FSOD和领域适应FSOD等多种设置。2.分析了不同FSOD设置下的方法，包括标准FSOD、广义FSOD、增量FSOD、开放集FSOD和领域适应FSOD。
      CVPR2022：使用完全交叉Transformer的小样本目标检测
      gzq0723的博客
      08-18 6446
      关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Han_Few-Shot_Object_Detection_With_Fully_Cross-Transformer_CVPR_2022_paper.pdf计算机视觉研究...
      使用PyTorch进行小样本学习的图像分类
      deephub
      10-30 7012
      少样本学习是机器学习的一个子领域。它涉及到在只有少数训练样本和监督数据的情况下对新数据进行分类。只需少量的训练样本，我们创建的模型就可以相当好地执行。考虑以下场景:在医疗领域，对于一些不常见的疾病，可能没有足够的x光图像用于训练。对于这样的场景，构建一个小样本学习分类器是完美的解决方案。小样本的变化当我们谈论 FSL 时，我们通常指的是 N-way-K-Shot 分类。N 代表类别数，K 代表每个类中要训练的样本数。所以N-Shot Learning 被视为比所有其他概念更广泛的概念。
      CVPR小样本检测：蒸馏&上下文助力小样本检测（代码已开源）
      gzq0723的博客
      03-12 7107
      计算机视觉研究院专栏作者：Edison_G目标检测现在的框架越来越多，我们“计算机视觉研究院”最近也分享了众多的目标检测框架！今天我们继续分享一个最新的检测框架——YOLOR。公众号ID｜...
      小样本学习数据集
      Learn2Learn的博客
      07-25 1万+
      小样本学习数据集 最近由于实验室项目原因开始研究小样本学习（few shot learning），看了一些论文，发现里面常用的测试数据集主要有Omniglot和miniImagenet两个，但是网上能查到的下载地址都在谷歌网盘上，而且miniImagenet中还缺少标注数据的csv文件，经过一番搜寻终于搞定两个数据集，搬到国内网盘上，方便以后要用到。 下载地址 链接: https://pa...
      【小样本学习】【CVPR2021】补全原型网络达到SOTA，Prototype Completion with Primitive Knowledge for Few-Shot Learning
      【原创】【论文复现】【Matlab】【图像处理】基于三维直方图降维重建与高斯分布拟合的Otsu全局阈值分割算法的优化
      02-04 2323
      小样本学习是一种通过少量样本训练分类器的方法，目前是一项比较困难的任务。目前比较有效的方法是基于元学习的预训练方法，首先在样本比较丰富的基础类别上训练一个特征提取器，然后在样本比较少的新类别上进行微调。然而实验表明微调对网络在新类别上的分类准确率的改进比较有限，本文发现，在用于预训练的基础类别数据集中，每个类别中样本的分布都比较紧凑，不同类别之间泾渭分明，而在样本比较少的新类别数据集中，各个类别中的样本分布比较混乱，不同类别的样本混在一起，不容易分开，即方差比较大。针对上述问题，该文对所有类别的名称进
      评论
      添加红包

      请填写红包祝福语或标题

      个

      红包个数最小为10个

      元

      红包金额最低5元

      当前余额3.43元 前往充值 >
      需支付：10.00元
      成就一亿技术人!
      领取后你会自动成为博主和红包主的粉丝 规则
      hope_wisdom
      发出的红包
      实付元
      使用余额支付
      点击重新获取
      扫码支付
      钱包余额 0

      抵扣说明：

      1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
      2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

      余额充值