元学习论文解读 | Cross-Domain Few-shot Classification via Learned Feature-Wise Transformation, ICLR 2020

最新推荐文章于 2022-11-29 00:17:09 发布
最新推荐文章于 2022-11-29 00:17:09 发布
阅读量866 收藏 5
点赞数 3
分类专栏： 小样本学习 跨域小样本学习 基于度量的元学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RitaRao/article/details/120069823
版权

机器学习 python 深度学习

目录

1. motivation

2. contribution

3. 问题定义

4. Feature-wise transformation layer

5. Learning the feature-wise transformation layer

6. 实验部分

7. 总结

1. motivation

虽然基于度量的元学习方法在解决小样本问题时性能良好，但由于特征分布在不同领域之间的巨大差异，这些方法往往无法推广到不可见的领域。

2. contribution

本文所提出的FWT是基于度量学习的，主要创新点如下：

  • 引入基于特征的变换层（参数从高斯分布采样）对feature encoder进行modulate（仿射变换）来模拟从不同领域的任务中提取的各种图像特征分布；
  • 采用元训练的方式优化特征转化层的高斯分布超参数，在pseudo-seen domain上训练模型参数，在pseudo-unseen domain上训练超参数。

3. 问题定义

基于度量学习的方法解决小样本问题的过程如下：

 

其中，E是feature encoder，M是metric function。训练目标就是最小化分类损失：

本文希望达到的目标是在测试时能够有效泛化到unseen domains。

4. Feature-wise transformation layer

如图2所示，本文向feature encoder E引入特征变换层对其进行仿射变换。

 

超参数\theta_{\gamma}和\theta_{\beta}表示仿射变换参数采样的高斯分布的标准偏差，设z是feature encoder中输出的C\times H\times W维的特征激活图。首先从高斯分布中采样尺度项γ和偏置项β：

 

那么调制后的特征激活图就为：

 

在应用时是将转换层插入到encoder的多个层后面。事实上Film采用的也是这种仿射变换的方式。

5. Learning the feature-wise transformation layer

在每个iteration，从seen domians \left \{ \mathcal{T}_{1}^{seen} , \mathcal{T}_{2}^{seen}, ..., \mathcal{T}_{n}^{seen} \right \}采样一个 pseudo-seen domain和pseudo-unseen domain 。给定基于度量的模型encoder E_{\theta_e^t} 和metric function E_{\theta_m^t}，特征变换层参数为\theta_f^t=\left \{ \theta_\gamma^t, \theta_\beta^t \right \}，在 pseudo-seen task上对模型进行训练：

 然后基于得到的模型参数在 pseudo-unseentask上对特征转换层进行训练：

 

可以理解为模型参数已经在pseudo-seen任务上训练好了，在pseudo-unseen任务上的损失一定程度上就是domian差异带来的，通过特征转换来对domain shift进行建模。

  

6. 实验部分

source domain = Mini-ImageNet:

source domain =  Mini-ImageNet+3个source domain (leave-one-out):

7. 总结

这种特征转换能都有效是否取决于pseudo-unseen domain和target domian有共同的特质？BSCD-FSL (ECCV2020) 中在mini-imagenet上训练，在所给的四个不同数据集上进行meta-test会发现效果并不好，可能有部分原因是因为source domain单一，没有办法更好的训练特征转化层，这一点在source domain = Mini-ImageNet 时也有一定的体现。

RitaRao
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION》论文总结
qq_35896136的博客
07-19 1153
这篇文章基于小样本分类，在度量方法的基础上做出了一些改进 论文代码：https://github.com/hytseng0509/CrossDomainFewShot 1、基于度量的方法 要素：特征编码器和度量函数 问题 算法过程： 主要有两次迭代更新，第一次更新利用已知域数据对度量模型参数的更新，也既是特征编码器和模型函数的参数θe\theta_eθe​和θm\theta_mθm​ 第二次更新是利用未知域对变换层参数的更新，也既是θf\theta_fθf​ ...
论文阅读：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION
Dream_xd的博客
06-19 2453
论文：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION 地址：https://arxiv.org/abs/2001.08735 代码：https://github.com/hytseng0509/CrossDomainFewShot 来源：ICLR2020 摘要 由于不同领域的数据特征分布具有差异性，因此少样本分类算法对于之前为见过的领域数据效果不好。次论文主要解决的是基于度量的方法在领域迁移（dom.
[ICLR 2020] cross-domain few-shot classification via learned feature-wise transformation
一亩高粱
03-06 3758
提出特征变换层模拟不同域特征分布
Cross-Domain Few-Shot Classification VIA Learned Feature-Wise Transformation 论文解读
Miracle_m的博客
07-23 1642
Cross-Domain Few-Shot Classification VIA Learned Feature-Wise Transformation摘要简介：方法：FEATURE-WISE TRANSFORMATION LAYER：LEARNING THE FEATURE-WISE TRANSFORMATION LAYERS :实验： 摘要简介： 小样本分类的目的是在每一个类别仅有少量标注样本的情况下识别新的类别。当前metric-based（基于度量）的小样本分类方法是：先利用metric funct
【论文阅读】[meta learning]cross-domain few-shot classification via learned feature-wise transformation.
刘子晔的博客
04-07 2905
cross-domain few-shot classification via learned feature-wise transformation. 本文依旧对少样本的分类泛化性能进行了讨论，作者认为由于跨域的特征分布存在很大差异，因此这些方法通常无法推广到看不见的域。 在本文中，作者解决了基于度量的方法在域移位下的少样本分类问题。 核心思想是在训练阶段使用基于特征的变换层通过仿射变换来增强...
CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION
qq_37246721的博客
04-08 466
个人学习记录，谨慎采纳 learning to learn参考文献: https://bair.berkeley.edu/blog/2017/07/18/learning-to-learn/ 解析 题目：CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION 作者：Hung-Yu Tseng 一、要解决的问题(研究动机)： 由于特征分布的差异，以往小样本分类模型在未见域上效果差。 由于模拟不同域的特征分布变化非
论文阅读：Cross Attention Network for Few-shot Classification
Dream_xd的博客
04-21 7396
论文：Cross Attention Network for Few-shot Classification 地址：https://arxiv.org/abs/1910.07677v1 code：https://github.com/blue-blue272/fewshot-CAN 来源：NeurIPS 2019 Abstract 小样本分类的目标是根据少数标注的样本去识别该类别，其中未知类别...
NIPS2019《Cross Attention Network for Few-shot Classification》
weixin_43994864的博客
03-08 2665
发表于NIPS2019！！！ 论文链接：https://proceedings.neurips.cc/paper/2019/file/01894d6f048493d2cacde3c579c315a3-Paper.pdf 代码链接：https://github.com/blue-blue272/fewshot-CAN 1. 动机 虽然有希望，但很少有人对所提取的特征的可识别性给予足够的重视。它们通常独立地从支持类和无标签查询样本中提取特征，因此特征不够有区别。一方面，支持/查询集中的测试图像来自不可见的类.
Deep Few-Shot Learning for Hyperspectral Image Classification
weixin_42402402的博客
08-28 1051
Deep Few-Shot Learning for Hyperspectral Image Classification 作者：Bing Liu , Xuchu Yu, Anzhu Yu, Pengqiang Zhang, Gang Wan, and Ruirui Wang 出处：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 发表时间：2019 1.1摘要与贡献： 目前，深度学习方法已被成功用于高光谱图像（HSI）分类。然而，想要训练一个深度学习.
元学习（meta learning）综述论文（2020年）
04-17
元学习旨在学会学习，是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》，值得关注，详述了元学习体系，包括定义、方法、应用、挑战，成为不可缺少的文献。
distillation_化工_精馏_
10-01
使用PYTHON对精馏过程进行编程，比较实用
【跨域小样本】Cross-Domain Learned Feature-wise Transformation
诸葛灬孔暗
08-17 622
原文链接：https://mp.weixin.qq.com/s/5F4OB9ghpplO637KWcxT1Q ​1.介绍 论文地址： Cross-Domain Few-Shot Classification via Learned Feature-wise Transformation https://arxiv.org/abs/2001.08735 参考代码： https://github.com/hytseng0509/CrossDomainFewShot 针对问题：跨域小样本学习、.
元学习论文解读 | 《Meta-SGD: Learning to Learn Quickly for Few Shot Learning.》
RitaRao的博客
08-31 1079
motivation 梯度是一种有效的数据拟合方向，但在小样本情况下，梯度可能会导致过拟合，这也使得选择学习速率变得棘手，MAML中需要昂贵的超参数调优。需要的是一种方法来决定所有的学习因素（优化方向和长度），以最大化泛化能力而不是数据拟合能力的方式。另外收敛速度也十分重要。 contribution 提出Meta-SGD算法，初始化、更新方向和学习率都是通过元学习来学习的，图中既决定了方向又决定了学习率。 论文主要内容 introduction 在半监督学习中，用大量未标记数据来增加标记的
【论文阅读】【元学习/小样本学习】【ICLR2020】CROSS-DOMAIN FEW-SHOT CLASSIFICATION
Egg_Hu的博客
02-10 672
【论文阅读】【元学习/小样本学习】【ICLR2020】CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATIONProblem formulation and motivationFEATURE-WISE TRANSFORMATION LAYERLEARNING THE FEATURE-WISE TRANSFORMATION LAYERS Problem formulation and motivation m
跨域小样本---cross domain few shot---第一弹
qq_21157073的博客
09-06 4733
cross domain Few-shot 存在问题 域间类别不重合 目标域时标签数据少 存在域偏差 A Broader Study of Cross-Domain Few-Shot Learning（ECCV 2020 link） 提出了cross domain few-shot learning的标准，在miniImageNetminiImageNetminiImageNet上训练模型，随后采用N−way，K−shotN-way，K-shotN−way，K−shot的方式，迁移到目标数据集上。 #.
跨域小样本---cross domain few shot---第二弹
qq_21157073的博客
05-19 5157
简单来说就是在Few-shot Learning问题中加入了跨域问题，具体表现在：在一个数据集上进行Few-shot训练，完成后在另一个数据集Few-shot测试，两个数据集中没有相同的类别。 Universal Representation Learning from Multiple Domains for Few-shot Classification (ICCV2021) 问题： 现有解决方案首先会在多个数据集分别训练特征提取器，随后在测试阶段筛选或者融合来自不同提取器的特征，如下图（a）所示，但是
ECCV 2022 Cross-Domain Few-Shot Semantic Segmentation
weixin_53356651的博客
11-29 1230
小样本语义分割目的是只需要少量标注样本就可以分割一个新的class大多数现有的方法都默认基类和新类是来自相同的域外加现实因素的影响：很多领域想要收集大量的有标注的样本是非常困难的因此在现实因素+现有方法缺陷的推动下，paper提出了CD-FSS，想要将meta-knowledge从具有足够训练标签的domain推广到low-resource domain，也就是只有少量训练标签的domain还建立了 CD-FSS 任务的benchmark，并以任务难度测量为特征提出了一种基于……
deep cross-domain few-shot learning for hyperspectral image classification
最新发布
12-21
深度跨领域少样本学习是一种用于高光谱图像分类的先进技术。在这种方法中，深度学习模型被设计用来从具有不同属性和特征的多个领域中学习少量样本。这样的方法可以显著提高模型对于新领域数据的泛化能力，从而有效地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值