小样本学习跨域(Cross-Domain)问题总结

最新推荐文章于 2024-10-11 07:03:35 发布
最新推荐文章于 2024-10-11 07:03:35 发布
阅读量2k 收藏 5
点赞数 1
分类专栏： # 论文总结 文章标签： 学习 深度学习 机器学习 人工智能 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57656758/article/details/128193248
版权

https://arxiv.org/abs/2001.08735 

文章来源：小样本学习跨域（Cross-domain）问题总结 - 知乎

目录

零·研究现状

一：A CLOSER LOOK AT FEW-SHOT CLASSIFICATION

实验介绍：

实验设置： 

实验结果：

结果表明：

二：A Broader Study of Cross-Domain Few-Shot Learning

元学习模型测试结果：

迁移学习测试结果： 

结果表明：

三：FEW-SHOT ACOUSTIC EVENT DETECTION VIA META LEARNING

实验介绍：

实验设置：

预处理：

测试结果：

结果表明：

四：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION

跨域问题的形成与动机：

提出Feature-wise transformation 层缓解跨域问题：

实验介绍：

Cars、Places和Plantae三种细粒度数据集如下： 

1.Cars

2.A 10 million Image Database for Scene Recognition

3.Plantae 

实验设置：

实验结果一：

实验结果二：

结果表明：

零·研究现状

近年来，小样本学习方向蓬勃发展，各种元学习模型以及相关调整策略在各大顶会的期刊上层出不穷，其中Omniglot和MiniImagenet做为被用到最多的小样本学习数据集，在5-way 5-shot的实验设置上：Omniglot数据集上的sota结果早早的达到了99%+；MiniImagenet数据集上的sota结果更是从50%左右不断刷新至现在的80%+，可谓是突飞猛进。按照这个增速，似乎通过元学习方法从根本上解决少样本问题指日可待，但实际情况确没有那么乐观。

问题之一就是Cross Domain跨域问题。近期跨域问题在越来越多的小样本学习论文中被讨论，其阻碍着元学习方法到实际场景的应用，本篇文章围绕下面几篇论文分别从图像和声音领域总结下小样本学习的跨域问题，其他领域的相关内容欢迎补充。

一：A CLOSER LOOK AT FEW-SHOT CLASSIFICATION

实验介绍：

MiniImageNet

CUB(CUB200-2011)：该数据集由加州理工学院再2010年提出的鸟类细粒度数据集，也是目前细粒度分类识别研究的基准图像数据集，如图所示。

实验设置： 

Backbone：ResNet-18

N-way k-shot：5-way 5-shot

实验结果：

Baseline = pre-training + fine-tuning(linear layer)

Baseline++ = pre-training + fine-tuning(cosine distance)

结果表明：

1.随着域差别的增加，CUB<miniImageNet<CUB-miniImageNet，Accuracy呈现较大幅度下降；

2.在miniimagenet和CUB-miniimagenet两组实验中，pre-training+fine-tuning的结果优于各元学习模型，表明在小样本学习的跨域问题上，元学习方法似乎失去了优势。

二：A Broader Study of Cross-Domain Few-Shot Learning

文章为验证小样本学习方法在域迁移问题上的表现，建立 benchmark，利用ImageNet做为源域数据集，利用与自然图像不同的域进行目标域评估，如下图所示。相似度由三个正交标准衡量：1）透视失真的存在；2）语义内容；3）颜色深度。PS: 目标域与源域不相交。 

农业: CropDiseases2 彩色, 自然图像, 有自身的特点 (相似度 ⭐⭐⭐⭐)
卫星图: EuroSAT3 彩色, 自然图像, 无透视变形 (相似度 ⭐⭐⭐)
皮肤病: ISIC20184 彩色, 医学影像, 无透视变形 (相似度 ⭐⭐)
X光片: ChextX5 灰度, 医学影像, 无透视变形 (相似度 ⭐)

元学习模型测试结果：

迁移学习测试结果： 


固定特征提取器(Fixed feature extractor)：利用预训练的模型作为固定的特征提取器；

微调所有层(Ft all)：使用标准的监督学习调整新任务的所有预训练参数；

微调last-k(Ft last-k)：只有预训练模型的最后k层针对新任务进行优化，在本文中只考虑微调last-1、微调last-2、微调last-3；

Transductive fine tuning(Transductive Ft)：查询图像的统计信息通过BN来使用；

结果表明：

在建立的benchmark跨域(Cross-Domain)数据集上：

1.不同元学习模型在同一目标域下的表现相近，而同一种元学习模型在不同目标域下的性能表现有明显差距，甚至60%的准确率差距；

2.随着目标域与源域相似度的逐渐增加，各个模型性能表现整体有较大幅度提升；

3.最先进的元学习方法MetaOpt没有比早期的元学习模型表现的更好；

4.与微调方法相比，所有的元学习方法的表现都明显不佳，在跨域问题中元学习方法再次被微调方法打败；一些元学习方法甚至被随机权重的网络所击败；

三：FEW-SHOT ACOUSTIC EVENT DETECTION VIA META LEARNING

文章对比了多种元学习方法和fine-tune方法在声事件检测任务上的性能对比，此处主要介绍cross-domain部分实验。

实验介绍：

数据集均抽取自Audioset子集，训练集均是家庭（household）的声音，测试集分别选自同一域下的不相交子集（In-domain）、Audioset子节点下的Music数据集以及与训练域差别最大的Animal数据集。

实验设置：

预处理：

每个音频片段计算log Mel filterbank能量特征做为网络的输入。

测试结果：

NN是最近邻的缩写，根据相邻的数据点对新数据进行分类。

结果表明：

1.在声事件检测任务上，元学习整体比Fine-tune方法有更好的表现；且Proto原型网络成绩最优；

2.随着域差异的增大，FT-liner和NN方法开始优于MAML；

3.与图像分类相同的是，随着与源域差异的增大，各个模型的表现都会变差；但是最大的下降幅度在15%左右，远小于图像分类最多60%的差异；原因在于所有音频经过了log Mel filterbank特征的提取，提取出来的特征图如下图所示，声音信号由完全不同的域，经过log Mel特征提取后，域差异会减小，因此跨域结果的下降幅度也会变小；

四：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION

文章提出了一种在域迁移下有效增强基于度量的少镜头分类框架的方法。该方法的核心思想是利用特征转换层来模拟从不同领域的任务中提取的各种特征分布。同时提出了一种learn to learn的方法来优化特征转换层的超参数，通过使用多个可见域来模拟泛化过程。

跨域问题的形成与动机：

基于度量的元学习模型通常由特征编码器E和度量函数M组成，旨在提高模型从可见域到任意不可见域的泛化能力。关键的观察是任务提取的图像特征在看不见域中的分布与在可见域中的分布有显著差异。如下图所示，在seen domain下，元训练得到的模型具有较好的表现，而在unseen domains下，模型的泛化能力显得不足，即出现了跨域问题。

提出Feature-wise transformation 层缓解跨域问题：

如下图所示，(a)文章提出了一个基于特征的转换层来调制特征编码器E中的中间特征激活z，该转换层利用由超参数θγ和θβ参数化的高斯分布采样的缩放项和偏差项。在训练阶段，我们在特征编码器中插入一组特征转换层来模拟从不同领域的任务中提取的特征分布。(b) 我们设计了一种learn to-learn算法来优化特征转换层的超参数θγ和θβ，该算法在可视域(top)上进行优化后，在不可见域(bottom)上最大化应用度量模型的性能。

实验介绍：

本文的实验中使用了分类数据集：minimagenet、CUB、Cars、Places和Plantae。其中针对mini ImageNet和CUB数据集沿用了Ravi&Larochelle(2017)和Hilliard(2018)等人划分式。对于其他数据集，通过随机拆分类来手动处理数据集。下表总结了每个数据集的训练、验证和测试类别的数量。

Cars、Places和Plantae三种细粒度数据集如下： 

1.Cars

2.A 10 million Image Database for Scene Recognition

 

3.Plantae 

实验设置：

5-way 1-Shot / 5-way 5-Shot
Backbone：ResNet-10

实验结果一：

采用常规跨域实验设置：我们在mini-ImageNet上训练模型，并在其余数据集上评估训练后的模型，FT表明使用提出的feature-wise transformation layers特征转换层来训练模型。

实验结果二：

采用leave one out设置：从CUB、Cars、Places和Plantae中选择一个作为unseen domain进行评估，mini-ImageNet和其余的域作为训练模型的seen domain。FT和LFT分别表示为应用预训练的特征提取器和使用所提出的learn to learn feature-wise transformation层。 

 

结果表明：

1.结合大量实验验证了提出的feature-wise transformation层适用于不同的基于度量的少镜头分类算法，并且在基线上显示出一致的改进。

alwaysuzybai
关注
专栏目录
论文笔记：Cross-Modulation Networks For Few-Shot Learning
Learn2Learn的博客
12-21 1278
这两天读完的一篇论文,Universitat Autònoma de Barcelona和Google Brain对小样本学习的研究,已被NIPS 2018 Workshop on Meta-Learning接收。其中的研究思路值得mark学习下。论文不长，除去引用和实验表格和图片,内容才3页，所以能很快读完。但里面涉及到许多概念需要补其他论文，所以需要一定时间理解，以下简单总结整理： Abstr...
【迁移学习】Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation
毛毛的博客
11-25 3536
摘要 无监督域适应(UDA)将预测模型从完全标记的源域转移到无标记的目标域。然而，在某些应用程序中，甚至在源域中收集标签都很昂贵，这使得以前的大多数工作都不切实际。为了解决这个问题，最近的工作执行了基于实例的跨领域自我监督学习，然后是一个额外的微调阶段。然而，实例自监督学习只学习和对齐低层次的判别特征。在本文中，我们提出了一个端到端原型跨域自监督学习(PCS)框架用于小样本无监督域适应(FUDA)。PCS不仅对跨域低级特征对齐，而且对跨域共享嵌入空间中的语义结构进行编码和对齐。我们的框架通过域内原型对比学习
【论文解读】跨域小样本学习：A Broader Study of Cross-Domain Few-Shot Learning
诸葛灬孔暗
08-16 2371
​1.介绍 论文地址： A Broader Study of Cross-Domain Few-Shot Learning 参考代码： https://github.com/IBM/cdfsl-benchmark 针对问题：小样本学习、跨域学习Cross-Domain 少数镜头学习的最新进展在很大程度上依赖于元学习的注释数据：从与新类相同的域中采样的基类。然而，在许多应用中，为元学习收集数据是不可行或不可能的。这就导致了跨领域的少镜头学习问题，在这个问题中，基本类域和新类域之间有很...
论文解读：AcroFOD: An Adaptive Method for Cross-domain Few-shot Object Detection
xiaolss的博客
09-22 405
AcroFOD通过数据筛选，筛选出和目标域接近的源域数据（减少低质量数据对模型优化产生的不良影响），用于数据增强，从而增强目标域小样本检测能力。
小样本跨域（cross-domain）系列工作（超级详细）
s_m_c的博客
01-20 3064
本文记录近期阅读过的小样本跨域相关论文，每一篇文章都经过了自己的深入思考和总结，按照：解决什么问题、动机、方法、数据集、结论和启发的顺序进行总结，同时会有部分细节的补充。
跨域小样本---cross domain few shot---第一弹
qq_21157073的博客
09-06 4823
cross domain Few-shot 存在问题 域间类别不重合 目标域时标签数据少 存在域偏差 A Broader Study of Cross-Domain Few-Shot Learning（ECCV 2020 link） 提出了cross domain few-shot learning的标准，在miniImageNetminiImageNetminiImageNet上训练模型，随后采用N−way，K−shotN-way，K-shotN−way，K−shot的方式，迁移到目标数据集上。 #.
跨域小样本系列1：简介篇
学姐带你玩AI的博客
02-08 1161
随着研究的发展和对现实场景的进一步理解，相比小样本学习条件更加苛刻的跨域小样本学习成为了近些年来新兴的研究话题。
跨域小样本---cross domain few shot---第二弹
qq_21157073的博客
05-19 5267
简单来说就是在Few-shot Learning问题中加入了跨域问题，具体表现在：在一个数据集上进行Few-shot训练，完成后在另一个数据集Few-shot测试，两个数据集中没有相同的类别。 Universal Representation Learning from Multiple Domains for Few-shot Classification (ICCV2021) 问题： 现有解决方案首先会在多个数据集分别训练特征提取器，随后在测试阶段筛选或者融合来自不同提取器的特征，如下图（a）所示，但是
Asymmetric Co-Teaching for Unsupervised Cross-Domain
10-19
Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification 是一种旨在解决跨域人体重识别问题的方法。本文中，我们将详细介绍该方法的原理、优点和实验结果。 什么是 Person Re-...
【域适应十九】CDTRANS: CROSS-DOMAIN TRANSFORMER FOR UN-SUPERVISED DOMAIN ADAPTATION
m0_60231311的博客
04-26 1027
无监督域自适应旨在将学习到的知识从一个有标记的源领域转移到另一个无标记的目标领域。大多数现有的UDA方法都是使用基于卷积神经网络(cnn)的框架，从领域层面或类别层面学习域不变特征表示。基于类别级别的UDA的一个基本问题是为目标域中的样本产生伪标签，这些伪标签通常过于嘈杂，无法进行准确的域对齐，不可避免地影响了UDA的性能。随着Transformer在各种任务中的成功，我们发现Transformer中的交叉注意对噪声输入对具有鲁棒性，可以更好地进行特征对准，因此本文将Transformer用于具有挑战性的U
cdfsl-benchmark:（ECCV 2020）跨域少量学习基准测试系统
03-21
跨域少量学习（CD-FSL）基准 网站 排行榜 纸 请在使用此评估框架时引用以下论文： : @inproceedings{guo2020broader, title={A broader study of cross-domain few-shot learning}, author={Guo, Yunhui and Codella, Noel C and Karlinsky, Leonid and Codella, James V and Smith, John R and Saenko, Kate and Rosing, Tajana and Feris, Rogerio}, year={2020}, organization={ECCV} } 介绍 跨域少发学习（CD-FSL）挑战基准包括CropDiseases [1]，EuroSAT [2]，ISIC2018
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation——CVPR2021
m0_47180208的博客
07-05 1667
无监督域适应的跨域梯度差异最小化摘要引言相关工作本文提出的方法UDA与双分类器对抗性学习最小化跨域梯度差异目标样本的自监督学习整体目标和优化程序实验结果 摘要 以前的对抗性学习方法仅重点关注两个不同分类器的输出之间的相似性。然而，输出的相似性不能保证目标样本的分类的准确性，即使两个分类器之间的差异很小，目标样本也可能与错误类别匹配。在本文中，我们提出了一种跨域梯度差异最小化（CGDM）方法，该方法明确地最小化了源样本和目标样本产生的梯度的差异。为了计算目标样本的梯度信息，我们通过基于聚类的自我监督学习进一步
【跨域小样本】Cross-Domain Learned Feature-wise Transformation
诸葛灬孔暗
08-17 652
原文链接：https://mp.weixin.qq.com/s/5F4OB9ghpplO637KWcxT1Q ​1.介绍 论文地址： Cross-Domain Few-Shot Classification via Learned Feature-wise Transformation https://arxiv.org/abs/2001.08735 参考代码： https://github.com/hytseng0509/CrossDomainFewShot 针对问题：跨域小样本学习、.
CORS与Cross-Domain(跨域)问题的分析和解决方案!
weixin_33871366的博客
06-01 2232
为什么80%的码农都做不了架构师？>>> ...
跨域少样本学习基准系统：CDFSL-Benchmark指南
最新发布
gitblog_00264的博客
10-11 408
跨域少样本学习基准系统：CDFSL-Benchmark指南 cdfsl-benchmark (ECCV 2020) Cross-Domain Few-Shot Learning Benchmarking System 项目地址: ...
跨域小样本系列4：finetune方法解决CDFSL
学姐带你玩AI的博客
02-13 763
作者提出了一种新的方法来解决以前的不精确梯度匹配问题，该方法通过对目标样本的不精确梯度进行学习来显著减少不精确梯度匹配。值得注意的是，本文提出的梯度差异最小化是一种广义的学习损失，可以很容易地应用于其他UDA范式。
探索未知领域的奥秘：Cross-Domain Few-Shot Learning (CD-FSL) 挑战基准
gitblog_00078的博客
06-10 400
探索未知领域的奥秘：Cross-Domain Few-Shot Learning (CD-FSL) 挑战基准 cdfsl-benchmark (ECCV 2020) Cross-Domain Few-Shot Learning Benchmarking System ...
cross-domain
weixin_30338481的博客
04-22 216
1 // GET 2 jsonp = () => { 3 let url = "http://xxx"; 4 fetch(url).then(function (response) { 5 return response.json() 6 }).then((json) => { 7 console.l...
AMKL代码解析：跨域视觉事件识别方法
本文主要探讨了跨域（cross-domain）的适应性多核学习（Adaptive Multiple Kernel Learning, AMKL）在视频事件识别中的应用。以下是文章的核心内容概览： 1. 数据设置（输入）： - 数据来源：论文使用的消费者视频...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值