＜＜AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning＞＞学习记录

已于 2024-12-23 09:56:02 修改
阅读量1k 收藏 22
点赞数 16
文章标签： 论文阅读
于 2024-11-06 11:00:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nhynhy0/article/details/143307816
版权

2024 CVPR

文章链接：＜＜AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning＞＞

Abstract

作者认为，当前人们对致使现有CLIP few shot有效性的key factors研究不够深入，限制了few shot的发展。
在本文中提出从logit bias的角度引入统一的公式来分析基于CLIP的few shot方式，为此，分解了logit bias计算中的三个主要成分：logit features, logit predictor，and logit fusion，证实了其对few shot分类的影响，并在此基础上，提出全新的AMU-Tuning方式来学习logit bias，在几个benchmarks上进行了实验，结果表明，AMU-Tuning明显优于其同行，并达到了基于CLIP few shot的SOTA。
AMU-Tuning方式具体来说：
通过合适的辅助特征(Auxiliary features)来预测logit bias，然后将这些辅助特征通过多分支训练(Multi-branch training)送到一个 feature-initialized linear probing，最后基于不确定性的融合(Uncertaintybased fusion)，将logit bias纳入到CLIP中few shot classification。
在这里插入图片描述

Background

现有方法可分为三类：

  • Prompt Tuning
    为CLIP的text encoder引入可学习的text prompt;
  • Adapter Tuning
    在text and visual encoder之后引入一些轻量单元，如MLP，来为下游任务调整特征；
  • Cache-based Tuning
    cache-based tuning methods present “soft” K-nearest neighbor classifiers storing visual features and labels of training samples, which are combined with zero-shot CLIP for final classification.
    在这里插入图片描述

Method

作者认为，之前的方法总体可以看作为zero-shot CLIP学习不同的logit biases，进而影响few-shot 分类表现。在这里插入图片描述

从logit bias的角度对之前的方法进行分析，将其拆解为三个方面（logit features, logit predictor，and logit fusion），实例分析其对few-shot的影响。

  • logit features
    比较了几种辅助特征(Auxiliary features)在predict logit bias方面的互补性与优越性，发现合适的特征可以极大地提高logit bias的学习；
    辅助特征： 现有方法主要利用CLIP自身来计算logit bias，CaFo中提出用额外的特征来帮助生成logit bias，本文中将这些额外的特征称为辅助特征。

    实验

    在ImageNet-1k上用ResNet-50(RN50)为backbone的CLIP，16-shot的训练样本。
    对于辅助特征，比较了6个预训练模型，CLIP、DINO、MoCov3、MAE、SparK和MILAN，backbone均为RN50，MAE和MILAN中由于预训练的RN50无法获得，使用ViT-B/16。
    为计算logit bias，在辅助特征之后训练了一个LP，再把它和zero-shot CLIP的预测加起来，用于few-shot分类。
    为50个epoch内的辅助特征设计一个独立的LP，其结果表示不同特征的优越性。
    使用辅助特征的LP预测与zero-shot CLIP预测计算余弦相似度，值越小，表示两者不相似，进而表明辅助特征的补充性。
    结果表明：
    辅助特征的补充性比优越性更重要，且，在补充性相同时，优越性越高，fusion结果越好。
    在这里插入图片描述

  • logit predictor
    比较不同的logit predictor的效果（e.g. MLP, cache-based model, and linear probing (LP))，发现feature initialization对logit predictor有帮助，但是现有的predictor 并不能充分利用辅助特征的优越性；

    实验

    在ImageNet-1k中，使用训练样本的不同shot，在几种predictor(MLP, Cache, Cache with random initialization (Cache-Random), and a simple linear probing (LP)(LP为baseline) )中评价logit predictior的效果，将RN50 of MoCov3的输出作为输入，结果表明Cache的效果最好，说明，feature initialization对logit predictor有帮助。
    使用LP作为predictor，比较不同training branch（individual，joint）对辅助特征的作用，发现Joint方法本应对zero-CLIP补充辅助特征的信息，但是其效果并不好，说明现有的preditor并不能充分利用辅助特征的优越性。
    在这里插入图片描述

  • logit fusion
    trade-off parameter of fusion对模型和数据集非常敏感，与zero-shot CLIP的置信度有关

    实验

    在ImageNet-1K and OxfordPets datasets上，对比了不同β的结果，表明该值影响很大。
    可视化zero-shot CLIP在ImageNet-1k上的上的max logits的分布，结果表明zero-shot CLIP在较大max logits上的分类较正确，表明更高confidence的logits导致更准确的分类结果，而较低confidence的logits的样本错误较多，因此可以在低confidence的logits上提高β的值。
    在这里插入图片描述

进而提出了AMU-Tuning，并在11个下游任务，4个out of distribution benchmark上使用不同的backbone验证效果，模型具体架构如下图所示。
在这里插入图片描述
其中，辅助特征fAux是利用RN50的MoCov3找到的优越性和补充性最优的特征。
Multi-branch Training of Feature-initialized (MTFi) Logit Predictor
在之前logit predictor的实验中发现，LP比基于cached的模型更高效，但由于无feature initialization，表现却更差，于是提出了一个feature-initialized LP，将其权重初始化为下述，在这里插入图片描述
其中fijAux是第i个class中第j个样本(feature），第j个训练样本的sbias是在这里插入图片描述
为充分利用辅助特征，提出多分支的训练策略，除了基于fused logit s的原始分类损失ℓfusion的基础上，引入了一条新的分支来最小化sbias与ground truth之间的交叉熵损失，在这里插入图片描述
g(·) 是softmax函数，总loss为
其中λ是用来平衡Aux与Fusion的一个超参数。
Uncertainty-based Fusion
并且，提出了一个不确定性κ(based on Kurtosis)的fusion来融合bias和zero-shot CLIP，在这里插入图片描述
其中ρ是来控制不确定性大小的，最终AMU-Tuning方式如下所示，其中只有LP的W^是通过total的损失来优化的。
在这里插入图片描述

Experiments

AMU-Tuning with [1, 2, 4, 8, 16]-shot training samples
与SOTA对比，在包含ImageNet-1k的11个下游任务上，AMU-Tuning达到了大多数任务的best，其中，由于Cafo使用DALL-E生成的额外训练样本，在shot较小时，AMU效果不如Cafo，shot较大时，AMU效果更好。
在这里插入图片描述
在4个out of distribution（OOD) benchmarks上，AMU-Tuning效果最好，说明鲁棒性良好。
在这里插入图片描述
对AUX MTFi UF三个部分做消融实验，发现每一部分都可以提高performance，使用不同的CLIP visual encorder，与SOTA对比，发现当前基于RN50的AMU-Tuning有更好的结果，说明其强泛化性。
在这里插入图片描述
在这里插入图片描述

Question

  1. cached_based tuning 是怎么做的，DINO发挥了什么作用
    cached_based tuning参考TipAdapter和CaFo，CaFo中增加了DINO的额外缓存结构；
  2. MLP与Linear Probe有何区别
    Linear 层是单层神经网络，进行线性变化，通常用于提取特征；
    MLP是多层，可通过非线性变换学习更加复杂的特征；
  3. fused logit 是什么？logit具体指的是什么？
    个人认为，fused logit是指在上述MTFI完成之后，将辅助特征生成的sbias与zero-shot CLIP生成的s0进行融合的过程，这里的logit应该是余弦相似度；
  4. logit predictor是指计算余弦相似度的一层吗？
    个人认为是的；
nhynhy0
关注
最新热点！结合创新！小样本学习+CLIP：超好上手的思路，爽发顶会顶刊
学姐带你玩AI的博客
09-14 2338
这个思路的优势在于：通过利用CLIP模型强大的跨模态表征能力，再结合小样本学习技术，我们就可以在仅提供少量标注样本的情况下，快速适应新的任务，在多个领域实现高效的学习。更值得一提的是，最近这个方向吸引到了一大波研究兴趣，各大顶会顶刊上相关成果数量繁多，比如收录于CVPR 2024的AMU-Tuning方法、DeIL方法等，以及顶刊IJCV 2024上的CLIP-FSAR框架，投稿热度可见一斑。为了帮助有论文需求的同学更好地掌握这个创新思路，今天我就来分享都是今年最新，开源代码已附~
Clip+小样本学习 顶会顶刊轻松发！
d22800的博客
02-22 797
在11个基准数据集上进行了广泛的实验，证明了KCL作为无需训练的即插即用模块在零样本和少样本学习任务中的有效性，与原始方法相比，KCL在1-shot设置中平均提升了3.04%-3.60%，在2-shot设置中提升了1.90%-5.20%，在4-shot设置中提升了1.32%-4.69%。基于对逻辑偏差关键组件的分析，提出了高效的AMU-Tuning方法，其核心是通过利用适当的辅助特征和多分支训练的特征初始化线性分类器来学习有效的逻辑偏差，然后通过基于不确定性的融合进行少样本分类。
基于Adapter用CLIP进行Few-shot Image Classification
Iron_lyk Blog
11-18 1758
CLIP-Adapter、Tip-Adapter、Meta-Adapter文章阅读笔记
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.04.10-2024.04.15
小小帅
04-16 2083
尽管扩散模型已成功应用于各种图像复原（IR）任务，但其性能对训练数据集的选择非常敏感。通常情况下，在特定数据集中训练的扩散模型无法恢复有分布外退化的图像。为了解决这个问题，这项工作利用了一个功能强大的视觉语言模型和一个合成降解管道来学习野外图像修复（野外 IR）。更具体地说，所有低质量图像都使用合成降级管道进行模拟，该管道包含多种常见降级，如模糊、大小调整、噪声和 JPEG 压缩。然后，我们为降级感知 CLIP 模型引入鲁棒训练，以提取丰富的图像内容特征，协助高质量图像修复。
一文彻底搞懂大模型 - Fine-tuning三种微调方式
嘴巴吃糖了
11-23 925
在生成式AI和大语言大模型（如GPT、LLaMA）的广泛应用中，微调（Fine-tuning）作为模型适应特定任务的关键步骤，其重要性不言而喻。以下将详细介绍三种流行的微调方式：Prompt-tuning、Prefix-tuning和LoRA，深入理解每种方法的原理、特点及应用场景。
08｜文本改写和内容审核，别让你的机器人说错话
qq_37756660的博客
02-01 1323
前面，我们已经把 OpenAI 最主要的接口介绍完了。这一讲也是我们基础知识篇里面的最后一讲，我们会覆盖完 OpenAI 的 GPT 系列模型剩下的一些接口。也许有些接口你不一定会频繁使用，但是了解一下没有什么坏处，说不定你有什么需求就能用得上它。在这一讲里，我们会一起来看看 OpenAI 为文本改写和内容审核提供的功能有哪些。以及 OpenAI 的 GPT 系列有哪些模型，这些模型有哪些区别，什么情况下我们应该用什么模型。
AMU5-ANC:Baobab 产前保健 EMR 系统
06-04
OpenMRS:registered: 是一个社区开发的开源企业电子病历系统框架。 我们聚集在一起专门回应那些在发展中国家积极建立和管理卫生系统的人，在那里，艾滋病、结核病和疟疾折磨着数百万人的生活。...
AMR-Model:越南农业AMU干预的影响评估模型
04-20
AMR（Antimicrobial Resistance，抗微生物耐药性）模型是一种用于评估农业中抗微生物药物使用（AMU，Antimicrobial Usage）对抗药性发展影响的科学工具。在越南农业背景下，这样的模型有助于理解AMU干预措施的效果，...
super-sharp-router:一个适用于 PHP 5.4+ 的锐利小路由库
07-09
$ router = new Amu \ SuperSharp \ Router (); $ router -> get ( '/hello' , function (){ return 'Hello world!' ; }); echo $ router -> match ( '/hello' ); // Prints: Hello World! 匹配当前请求并返回响应...
dayglo-php:用于 PHP 5.4+ 的数据文件加载器解析器
06-19
use Amu \ Dayglo \ Parser ; use Amu \ Dayglo \ Loader ; use Amu \ Dayglo \ ParserCollection ; // Create collection with the parsers required $ parsers = new ParserCollection ([ new Parser \ ...
逻辑回归bias项反映是否存在样本不平衡
qq_39638957的博客
06-22 930
如果bias项很大，且为正 说明正样本过多 如果bias项很小，且为负 说明负样本过多
chatgpt API接口中文说明介绍（二）
热门推荐
asplh的专栏
04-12 1万+
上一篇介绍了chatgpt的 接口和使用方法。其中用到了2个参数 model和messages，实际上官方提供的参数不止这2个，本文介绍一下其他的参数。这两篇介绍了一下chatgpt的参数以及基本的使用方法，后面会介绍更多的chatgpt在实际中的应用，已经其他一些开源模型的搭建以及微调等。
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 1047
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 1057
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 844
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读：MAXIM Multi-Axis MLP for Image Processing
最新发布
Matrix-11
05-01 915
近年来，Transformer 和多层感知机（MLP）模型的发展为计算机视觉任务提供了新的网络架构设计。尽管这些模型在图像识别等许多视觉任务中已被证明是有效的，但在将它们应用于底层视觉任务时仍存在挑战。对高分辨率图像支持的灵活性不足以及局部注意力机制的局限性，可能是主要的瓶颈所在。在这项工作中，我们提出了一种基于多轴 MLP 的架构，称为 MAXIM，它可以作为一种高效且灵活的通用视觉主干架构，用于图像处理任务。MAXIM 采用了 U 型网络的分层结构，并通过空间门控的 MLP 实现了长距离的交互。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 708
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
论文笔记-多智能体任务分配：动态智能空间中的拍卖与抢占机制
sagima_sdu的博客
04-29 1192
DySOMA的核心是一种先进的基于拍卖的算法，结合了新颖的任务抢占排序机制，并与动态更新的本体知识图谱无缝集成。》的论文，该文提出了一种名为DySOMA（Dynamic System Optimisation for Multiagent）的框架，旨在通过拍卖算法和任务抢占机制，结合本体知识图谱，提升动态智能空间中多机器人系统的任务调度效率。》是一篇极具启发性的论文。例如，在智能家居场景中，知识图谱可以帮助机器人识别房间的位置、物品的状态以及用户的偏好，从而在任务分配过程中做出更合理的决策。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值