论文阅读笔记：小样本图像分类，Tip-Adapter

已于 2024-04-21 12:11:23 修改
阅读量331 收藏 8
点赞数 5
文章标签： 论文阅读 笔记
于 2024-04-21 12:02:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39422822/article/details/138029035
版权

目录

一、论文信息

二、Introduction

1、动机

2、本文工作

三、相关工作

1、CLIP

2、CLIP + FSC

四、Methods

1、Tip-Adapter

2、Tip-Adapter-F

五、实验结果

1、在ImageNet上的对比实验

2、在其他数据集上的对比实验

3、选用不同的CLIP视觉编码器对实验结果的影响

4、消融实验

六、未来工作

一、论文信息

论文标题：Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification

论文刊物：ECCV, 2022

论文地址：https://arxiv.org/pdf/2207.09519.pdf

论文代码：https://github.com/gaopengcuhk/Tip-Adapter

二、Introduction

1、动机

现有基于CLIP的小样本图像分类方法需要引入额外的训练参数。

2、本文工作

(1) Tip-Adapter。利用key-value cache model，不需要训练，取得了与之前方法相当的性能。

(2) Tip-Adapter-F。更新key-value cache model中的key，需要少量训练，取得了SOTA的结果。

三、相关工作

1、CLIP

CLIP的模型结构包括两个部分，即文本编码器和图像编码器。文本数据和图像数据 两者分别通过各自编码器编码后，使用对比学习的思想，将匹配的文本-图像对的Embedding之间的距离拉近，将不匹配的Embedding之间的距离拉远。通过在大量数据集上的预训练，CLIP获得了较强的零样本推理能力。

2、CLIP + FSC

- CoOP：在CLIP文本提示处做改动，增强其零样本推理能力。

- CLIP-Adapter：对通过CLIP编码后的文本特征和图像特征进行微调，来更好地适用于下游任务。

四、Methods

1、Tip-Adapter

(1) key-value cache model

  • Key：F_{train} = VisualEncoder(I_{K}) \in \mathbb{R}^{NK \times C}

  • Value：L_{train} = OneHot(L_{N}) \in \mathbb{R}^{NK \times N}

  • Query：f_{test} \in \mathbb{R}^{1 \times C}

其中，VisualEncoder 表示 CLIP 中的图像编码器，N 表示类别数，K 表示 shot 数。

(2) query和key之间的相似度计算

A = exp(-\beta(1-f_{test}F^{T}_{train})) \in \mathbb{R}^{1 \times NK}

(3) 模型预测得分

logits = \alpha A L_{train} + f_{test}W_c^T

2、Tip-Adapter-F

在 Tip-Adapter 基础上，F_{train}可训练。

五、实验结果

1、在ImageNet上的对比实验

2、在其他数据集上的对比实验

注：随着训练样本数量的增加，不用训练的方法（如Tip-Adapter）与需要训练的方法（如Tip-Adapter-F）之间的差距越来越大。

3、选用不同的CLIP视觉编码器对实验结果的影响

注：为什么这会成为一个单独的实验？视觉编码器对结果影响很大？能否有更好的视觉编码器？

4、消融实验

注：alpha=1 取得了最佳实验结果，说明在ImageNet数据集上，CLIP的zero-shot能力也很重要。

六、未来工作

Our future work will focus on exploring new training-free methods for CLIP to fully unleash its power for visual representation.

S.GJ
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
用于视觉任务的VLM技术简介
u013250861的博客
10-27 221
对比式目标函数的目的是希望在特征空间使得正样本对之间的距离尽可能接近，而正负样本对之间的距离尽可能远。通常用InfoNCE及其变体作为图像对比学习的目标函数通常由两部分构成，一部分为图像特征到文本特征的InfoNCE，一部分为文本特征与其对应的图像的特征的InfoNCE，将这两者结合作为最终的损失函数。在Image-Text Contrastive的基础上还需要加上label的信息，这里未完待续。。
注册表知识和技巧大全
热门推荐
luoxing999的专栏
05-07 1万+
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling详解
zcyzcyjava的博客
08-28 1709
Tip-Adapter通过一个键值缓存模型从几张照片的训练集中构建适配器，并通过特征检索更新CLIP中编码的先验知识。此外，在此基础上，通过对缓存模型的微调，Tip-Adapter的性能可以进一步提升到ImageNet上的最先进水平，比现有的方法少10倍的epochs，这既有效又高效。.........
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
weixin_44031582的博客
12-14 5925
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling Tip-Adapter为CLIP模型添加了一个两层多层感知器(MLP)的Adapter和一个结合pre-trained features与updated features的残差连接。与CLIP-Adapter不同，Tip-Adapter不需要SGD来训练Adapter，而是从few-shot监督中构建一个query-key缓存模型，以获得Adapter的权
ECCV 2022《Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification》
weixin_53356651的博客
01-07 734
这篇文章中，作者提出了一种 **Training-free adaption method for CLIP** module来执行小样本分类任务，简写为**Tip-Adapter**。不仅继承了zero-shot CLIP不用训练(training-free)的优点，而且性能与那些需要训练的方法表现相当！
论文笔记：CLIP：Learning Transferable Visual Models From Natural Language Supervision详解
zcyzcyjava的博客
08-30 2601
CLIP使用的预训练方法：预测哪个标题与哪个图片相配这一简单的预训练任务是一种高效且可扩展的方式，可以在从互联网上收集的4亿对（图片、文本）数据集上从头开始学习SOTA图片表征。在预训练之后，自然语言被用来引用所学的视觉概念（或描述新的概念），使模型能够zero-shot地转移到下游任务中。......
DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting（CVPR2022 ）
sanguine__的博客
01-31 907
最近的进展表明，使用对比图像-文本对的大规模预训练可以从自然语言监督中学习高质量的视觉表示。得益于更广泛的监督来源，这种新范式表现出令人印象深刻的下游分类任务和数据集的可转移性。然而，将从图像-文本对中学到的知识转移到更复杂的密集预测任务的问题却很少被研究。在这项工作中，我们通过隐式和显式地利用来自CLIP的预训练知识，提出了一个新的密集预测框架。具体来说，我们将CLIP中的原始图像-文本匹配问题转换为像素-文本匹配问题，并使用像素-文本得分映射来指导密集预测模型的学习。
基于Adapter用CLIP进行Few-shot Image Classification
Iron_lyk Blog
11-18 666
CLIP-Adapter、Tip-Adapter、Meta-Adapter文章阅读笔记
为家庭网络布线-第5部分-千兆吞吐量和Vista
10-02 873
UPDATE: Here's a Bit.ly Bundled Link of the complete "Wiring your house for Gigabit Ethernet 5 PART SERIES." 更新：这是完整的“为千兆以太网5部分系列为房屋布线”的Bit.ly捆绑链接。 I posted earlier about copying files across my new G...
notes::eyes:笔记---用于备忘
04-02
笔记学习过程中的相关总结和笔记此Notes用于备忘。如果出现错误，欢迎指正。谢谢Linux行动Docker和KubernetesAnsible网络MySQL | NoSQLPythonDjango的数据结构吉特哦，我的生活
大纲笔记：2020.11.13-信息组织学（储节旺，郭春侠）.pdf
06-12
大纲笔记：2020.11.13-信息组织学（储节旺，郭春侠）.pdf 原文：http://t.csdn.cn/88At1
论文笔记讲解：A Modulation Module for Multi-task Learning with Applications
11-21
最新的关于多任务学习，如何消除不相关任务的干涉：一种用于图像检索的多任务学习的调制模块A Modulation Module for Multi-task Learning with Applications in Image Retrieval_ECCV_2018
《Android 群英传》读书笔记：自定义 View ---- 音频条形图
11-26
《Android 群英传》读书笔记：自定义 View ---- 音频条形图 博客地址：http://blog.csdn.net/like_program/article/details/53352899
linux运维学习笔记：企业Shell面试题总结-2.pdf
08-18
linux运维学习笔记：企业Shell面试题总结-2
论文阅读：The Unreasonable Ineffectiveness of the Deeper Layers 层剪枝与模型嫁接的“双生花”
温染的笔记
05-10 737
作者实证研究了针对流行的开放式预训练 LLM 系列的简单层修剪策略，发现在不同的 QA 基准上，直到去掉一大部分（最多一半）层（Transformer 架构）后，性能的下降才会降到最低。为了修剪这些模型，作者通过考虑各层之间的相似性来确定要修剪的最佳层；然后，为了“治愈”损伤，进行了少量的微调。特别是 PEFT 方法，尤其是量化和低秩适配器（QLoRA），这样每个实验都可以在单张 A100 GPU 上完成。
BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis 论文阅读
最新发布
气派飞鹰的博客
05-14 1104
是 Mildenhall 和 Barron 参与的工作（都是谷歌的），同时一作是 Lipman 的学生，VolSDF 的一作。本文引用了很多其他文章的方法，Mildenhall 和 Barron 等的论文Mip-NeRF 360，以及VolSDF的方法。采用了 Instant-NGP 为中介来学习处于顶点位置的参数然后再固定到顶点上。
TDN: Temporal Difference Networks for Efficient Action Recognition 论文阅读
weixin_44609958的博客
05-10 1178
时间建模在视频动作识别中仍然是一个具有挑战性的问题。为了缓解这个问题，本文提出了一种新的视频架构，称为Temporal Difference Network（TDN），重点是捕获多尺度的时间信息以实现高效的动作识别。我们TDN的核心是通过明确利用时间差分算子设计一个高效的时间模块（TDM），并系统评估其对短期和长期运动建模的影响。为了完全捕获整个视频的时间信息，我们的TDN采用了两级差分建模范式。
【论文阅读笔记】HermesSim（Code is not Natural Language） (Security 24)
Yuhan2001的CSDN博客
05-12 657
论文：《Code is not Natural Language: Unlock the Power of Semantics-Oriented Graph Representation for Binary Code Similarity Detection》 仓库：https://github.com/NSSL-SJTU/HermesSim
学习笔记(01):深度学习图像处理之垃圾分类-图像处理及图像分类的基础知识
05-24
本篇笔记主要介绍了深度学习图像处理的基础知识，以及垃圾分类中常用的图像处理和图像分类方法。 首先介绍了图像的基本概念和表示方式，包括像素、分辨率、通道等。然后介绍了图像处理的基础知识，包括图像的预处理、滤波、缩放和旋转等。其中，图像的预处理包括去噪、增强、归一化等操作，这些操作可以提高图像处理的精度和效果。 接着，本篇笔记介绍了图像分类的基础知识和常用方法。图像分类是指将图像分为不同的类别，常用的方法包括传统的机器学习方法和深度学习方法。其中，传统的机器学习方法包括SVM、KNN、决策树等，而深度学习方法则包括卷积神经网络（CNN）、循环神经网络（RNN）等。在垃圾分类中，常用的是基于卷积神经网络的图像分类方法。 最后，本篇笔记介绍了垃圾分类中常用的图像处理和图像分类方法。在图像处理方面，常用的方法包括图像增强、直方图均衡化、边缘检测等，这些操作可以提高图像的质量和特征提取的效果。在图像分类方面，基于卷积神经网络的方法得到了广泛应用，其中包括LeNet、AlexNet、VGG、GoogLeNet、ResNet等模型。 总之，深度学习图像处理和图像分类是垃圾分类领域中非常关键的技术，掌握这些基础知识和方法可以帮助我们更好地进行垃圾分类。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值