元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

  • Motivation

MAML在元训练任务上训练学习模型初始化(也称为checkpoint),根据得到的初始化,在测试任务的支持集上进行几个梯度步骤的任务适应,就可以得到在查询集上的良好预测。然而在实践中,在元训练集上进行re-trainfine-tune可能是行不通的,并且测试任务可能来自不同的分布(cross-domain),所以元测试的优化步长不一定要和元训练一致。

  • Contribution

  1. 提出在测试时元训练集不可获得的情况下的跨域小样本分类任务问题;
  2. 提出一种基于不确定性的步长适应和对抗数据增强的方法;
  3. 在所给出的问题设置下,相比于MAML有一个比较大的提升。
  • 核心内容

1. Motivating hypotheses

在元测试时,作者假设可以通过模型参数估计特定任务的不确定性。本文采用的方法是在支持集上训练ensembles,并估计模型参数的方差——每个模型学习到的参数略有不同,产生的梯度也略有不同,于是就可以将得到的参数的方差和梯度的方差视为任务特定的不确定性。

鉴于估计得到的任务不确定性,本文给出了两个方案对MAML进行改进:

Proposal 1 (task-specific stepsizes) 模型参数具有较高方差时使用较小的步长。

如果用较大的步长移动高方差分量,方差会进一步放大。(集成模型不收敛)

Proposal 2 (Task-specific adversarial examples)  梯度具有较高方差时使用具有较高对抗性扰动的对抗性样本。

梯度的方差越小,说明这个样本对模型来时是易于学的,所以需要更大的扰动增加鲁棒性。

(这里将对抗性训练视为元测试时的一种数据增广或正则化形式。)

2. Uncertainty-based gradient steps at test-time

(1) USA (uncertainty-based stepsize adaptation)

基本思想:layer-wise的步长与参数的方差成反比

例如,在mini-imagenet上得到的结果如下:

 

 

(2) UFGSM (uncertainty-based fast gradient sign method)

基本思想:对抗样本的扰动程度与梯度的方差成正比。

 

例如,在mini-imagenet上得到的结果如下:

 

结合两个模块USAUFGSM,最后meta-test阶段算法伪代码如下:

 

  • 实验结果

 

  • 总结

虽然本文主要针对的是meta-test阶段对步长和样本增强方面的一些考虑,其中可取的地方是利用模型集成(或者就可以理解成BMAML中粒子的概念)对任务不确定性的建模,包含了两部分:模型参数的方差,梯度的方差。那么能不能根据单个模型在不同domain任务上会获得的参数方差或者梯度方差捕获一些域的特征(比如来自该域的任务所需要的参数的方差),来帮助后面任务的训练。比如说PMAML中,学习的就是参数的均值和方差,面对特定任务时进行采样获得任务特定参数。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. "The Power of Color" - A short video showcasing the impact of color on our emotions, using vibrant visuals and upbeat music. 2. "The Journey of a Seed" - A stop-motion animation following the life cycle of a seed, from planting to blooming, accompanied by a soothing voiceover. 3. "The Art of Upcycling" - A fast-paced montage of creative ideas for repurposing old items, set to an upbeat soundtrack and featuring witty captions. 4. "The Magic of Nature" - A cinematic exploration of the beauty of the natural world, using time-lapse and slow-motion footage to capture the wonder of the outdoors. 5. "The Joy of Dance" - A lively video showcasing different dance styles, from hip-hop to ballet, set to an energetic soundtrack and featuring dancers of all ages. 6. "The Power of Words" - A thought-provoking video using typography and animation to explore the impact of language on our thoughts and emotions. 7. "The Beauty of Diversity" - A celebration of different cultures and identities, featuring a diverse cast of people sharing their stories and experiences. 8. "The Art of Mindfulness" - A calming video using nature and ambient sounds to guide viewers through a mindfulness meditation practice. 9. "The Future of Sustainable Living" - A futuristic video exploring the potential of green technology and sustainable practices to shape a better world. 10. "The Joy of Pets" - A heartwarming video showcasing the bond between humans and their furry friends, set to a cheerful soundtrack and featuring cute animal footage.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值