TADAM: Task dependent adaptive metric for improved few-shot learning阅读笔记

最新推荐文章于 2023-03-09 14:54:55 发布
最新推荐文章于 2023-03-09 14:54:55 发布
阅读量3k 收藏 12
点赞数 1
分类专栏： 论文阅读笔记 文章标签： few-shot learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a101330107/article/details/86645748
版权

人类通过看少数样例甚至是一个样例后，就可以学会识别从未见过的新类别，当然我们希望机器也可以具备这样的能力，所以近些年few-shot learning得到了广泛的关注，它的目标可以概括为构建一个可以从少量标记数据中进行归纳的模型。这里我们举个例子来描述小样本算法中的一个经典任务。在5-way 5-shot任务中，我们有25张图片做为support set，其中包含5张猫类照片，5张狗类张片，5张人类照片，5张汽车照片，5张房子照片，随后将几张没有标签的人类照片作为query set，我们的目标为给模型25张带有标签的图片后，让模型为query set中的图片做预测，预测其中的图片是属于5类中的哪一类。Support set中的五类图片可以是训练集出现过的，也可以上训练集中从未出现过的类别。解决这类问题已有的方法可以分为三类：（1）meta-learning方法，包括Matching Network,Relation Netowork,Prototypical Network,MAML等。（2）最大化来自不同类的示例之间的距离。（3）对不同类别的先验分布使用贝叶斯建模。

在这里插入图片描述本次分享的这篇论文是Boris N. Oreshkin等人发表在NeurIPS 2018上的文章，这个工作使用metric scaling方法来改变小样本算法的参数更新方式，在Mini-ImageNet 5-way 5-shot任务中准确率提升了14%。此外，作者提出了一种简单高效的方式来提取任务表示,构建了更加meta的神经网络来完成小样本图像分类任务。实验结果表明该网络结构性能达到了当前最优。
这篇文

最低0.47元/天 解锁文章
小菜鸟快快飞
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TADAM: Task dependent adaptive metric for improved few-shot learning
勤学如春起之苗，不见其增，日有所长
12-17 612
文章的主要贡献 metric scaling 在将距离d输入到softmax层之前，乘以一个系数α\alphaα，这样使得余弦和欧式距离区分度不那么明显，也使得模型的适应性更强；文中将α\alphaα分为两种情况讨论：即α→0\alpha\to0α→0 和α→∞\alpha\to\inftyα→∞，从文中公式（3）（4）可以看出，两种情况的第一项作用相同，都是最小化query 到其相应类别的...
TADAM:Task dependent adaptive metric for improved few-shot learning
Glen_Liu
11-17 3803
本文基于度量学习，发现简单的度量尺度会完全改变少样本学习参数更新的本质，同时提出了一个简单且有效的任务依赖的度量空间学习方法，可以根据不同的任务进行特征提取。通过度量缩放的方式，作者将余弦相似度与欧拉距离在少样本学习上的差距缩小了10%，也就是说度量的选择没有那么重要。另外，还提出了辅助任务协同训练，使得具有任务依赖性的特征提取更容易训练，并且具有很好的泛化能力 背景 考虑episodic形式的K...
Few-shot Adaptive Faster R-CNN
weixin_36670529的博客
08-31 4110
目录 摘要 1、简介 2、相关工作 3、方法 3.1、问题建立 3.2、图像级适配 3.3、实例级适配 3.4、源模型特征正则化 3.5、训练FAFRCNN 4、实验 4.1、数据集和设置 4.2、定量结果 4.3、定性结果 4.4、消融研究 5、结论 摘要 为了减少由域转移引起的检测性能下降，我们致力于开发一种新的小样本适配方法，该方法只需要少量的目标域映射......
论文笔记：Few-shot Adaptive Faster R-CNN
weixin_41978493的博客
03-25 317
论文地址：https://ieeexplore.ieee.org/document/8953674 源码地址：尚未开源 1 Background of Paper 只需要很少的目标域图像，且这些图像的bbox标注很有限，用这些数据和源域数据一起实现小样本的域自适应目标检测。（提出疑点：小样本不应该是源域数据也很少吗？）为了解决这个问题，首先用配对的方法，将源域数据和目标域数据弄成一对对，降低数据量少带来的影响；然后提出一个双层的模块，来让源域中预训练的模型，适应到目标域中：1）基于图像级自适应模块..
小样本学习
alex1801
02-24 4500
给定两张图片 a 和 b，如果两张图片越相似，则 sim (a, b) 的值越大。在小样本学习问题中，Support Set中每一类往往只有少数几个样本，单单依靠这些样本，不可能训练出一个深度神经网络，甚至无法采用迁移学习中的Pretraining+Fine Tuning方法。将Query图片和Support Set中所有图片全部转化为特征向量，然后依次计算Query图片对应的特征向量和Support Set中各图片对应特征向量之间的距离，返回Support Set中距离最小的图片类别作为预测结果。
Improved Speaker-Dependent Separation for CHiME-5 Challenge
02-07
Improved Speaker-Dependent Separation for CHiME-5 Challenge
Improved delay-dependent stability criteria for T-S fuzzy systems with time-varying delay
02-11
Improved delay-dependent stability criteria for T-S fuzzy systems with time-varying delay
Adaptive Hybrid Algorithms for the Sequence-Dependent Setup Time Permutation Flow Shop Scheduling Problem
02-21
Adaptive Hybrid Algorithms for the Sequence-Dependent Setup Time Permutation Flow Shop Scheduling Problem
Improved delay-dependent consensus stability criteria of high-order multi-agent systems with time delays
02-07
Improved delay-dependent consensus stability criteria of high-order multi-agent systems with time delays
Delay-dependent filtering for discrete-time state-delayed systems with small gain conditions in finite frequency ranges
02-21
Delay-dependent filtering for discrete-time state-delayed systems with small gain conditions in finite frequency ranges
【机器学习】Few-shot learning（少样本学习）
热门推荐
weixin_44211968的博客
11-14 1万+
文章目录前言参考链接 前言 人类本身能够通过极少量的样本识别一个新物体，即使是一个小孩也能凭借动物图册上的几张小小的插画记住不同的动物。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。 Few-shot Learning 是 Meta Learning 在监督学习领域的应用。Meta Learning，又称为learning to learn，该算法旨在让模型学会“学习
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
wzk4869的博客
03-09 1万+
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
论文阅读笔记《TADAM: Task dependent adaptive metric for improved few-shot learning》
深视
06-09 2832
核心思想   本文在基于度量学习的小样本算法的基础上提出了几点改进方案：度量放缩（Metric Scaling），任务条件（Task Conditioning）以及辅助任务合作训练（Auxiliary task co-training）。首先，对于度量函数d(z,ck)d(z,c_k)d(z,ck​)增加一个放缩系数α\alphaα，使得分类概率p(y=k∣x)=softmax(−αd(z,ck))p(y=k|x)=softmax(-\alpha d(z,c_k))p(y=k∣x)=softmax(−αd(
（论文阅读）Few-shot Adaptive Faster R-CNN
RF~or的博客
09-18 3409
要解决的问题：域间差异（domain shift）导致检测性能下降。（域可以理解成区域/不同的场景图像） 补充：域间差异：不同的数据集具有不同的数据分布，一般情况下训练的模型也只能用在与这种训练数据集分布相似的数据集上，而用于与训练数据集分布不同的数据集中时，则会产生具有明显差距的结果。也就是泛化能力。few-shot可以理解为训练样本少。 方法：少镜头自适应方法（few-shot adapt...
【论文阅读】【元学习/小样本学习】【NeurIPS2018】TADAM: Task dependent adaptive metric for improved few-shot learning
Egg_Hu的博客
02-10 341
【论文阅读】【元学习/小样本学习】【NeurIPS2018】TADAM: Task dependent adaptive metric for improved few-shot learningMetric ScalingTask conditioningArchetectureAuxiliary task co-training Metric Scaling 作者提出了metric scaling来提高小样本算法的性能。Prototypical Networks的文章中指出Euclidean dist
(Few-shot Detection)Review: fewshot adaptive faster r-cnn
Bryce1010's Blog
12-14 634
Challenge 目标域上的数据严重不足 Detection的任务不仅要定位还要分类，增加任务难度 数据量少容易造成over-adaptation 同时，现在存在的Domain-Adaptation Detection中，更多的是做无监督的方式，这样在源域同样需要大量的数据。 所以本文的研究目的是：在源域上训练的检测器，通过few-shot learning的思想转移到在带有部...
极简笔记 Meta-Learning for semi-supervised few-shot classification
Hibercraft的博客
03-16 7159
极简笔记 Meta-Learning for semi-supervised few-shot classification 论文地址 https://arxiv.org/pdf/1803.00676.pdf 本篇文章核心是给出了一种用于少样本半监督学习的分类算法。总体思路非常简单，通过一个网络 (Prototypical Network)提取特征，之后对特征进行聚类，聚类中心稳定之后拿去测试...
Few-Shot Representation Learning for Out-Of-Vocabulary Words 论文笔记
彭伟的博客
07-26 1296
《Few-Shot Representation Learning for Out-Of-Vocabulary Words》 这篇文章是发表在2019年NAACL上的，主要是针对out of vocabulary问题提出的想法。 这里感觉和bert，elmo的想法类似，提炼的都是词向量，只不过这篇文章是将提炼词向量去解决out of 的问题，而之前的语言模型是，从大规模语料当中学习到语言学的一些知...
TAR: SQL Guided Pre-Training for Context-dependent Text-to-SQL Parsing
最新发布
03-31
TAR (Table-aware Pre-training with Abstract Reasoning) is a pre-training framework for context-dependent text-to-SQL parsing. It leverages SQL knowledge and utilizes abstract reasoning to better ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值