![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基于优化的元学习
文章平均质量分 82
RitaRao
it is ok
展开
-
论文阅读 | Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning, ICML2022
模型不可知元学习(MAML)是目前小样本元学习的主要方法之一。尽管MAML有效,但由于固有的双层结构,其优化可能具有挑战性。具体而言,这种双层结构使得MAML的损失面可能有更多的鞍点和局部极小值,也就更容易陷入局部最优,而不是其经验风险最小化对应值。为了尽可能的避免陷入局部最优,本文利用最近的锐度感知最小化(sharpness aware minimization),提出了一种sharpness aware MAML方法,称之为Sharp-MAML。实验部分Sharp-MAML达到了SOTA的效果。...原创 2022-08-09 14:31:31 · 1275 阅读 · 0 评论 -
元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022
针对在测试时元训练集不可获得的情况下的跨域小样本分类任务问题,提出一种基于不确定性的步长适应和对抗数据增强的方法。原创 2022-01-07 10:20:10 · 2375 阅读 · 0 评论 -
元学习论文解读 | How to train your MAML , In ICLR 2019.
目录motivationcontribution核心内容Related WorkProblemsofMAML训练不稳定性二阶导数代价缺少批处理归一化统计量的积累共享(跨步)批处理规范化偏差共享内部循环(跨步和跨参数)学习率固定的外环学习率Stable,automated and improved MAML: MAML++梯度不稳定性→多步损失优化(MSL)二阶导数成本→导数退火DA缺少Batch Normalization统计信息累积→Per-..原创 2021-09-01 09:35:58 · 2205 阅读 · 0 评论 -
元学习论文解读 | 《Meta-SGD: Learning to Learn Quickly for Few Shot Learning.》
motivation梯度是一种有效的数据拟合方向,但在小样本情况下,梯度可能会导致过拟合,这也使得选择学习速率变得棘手,MAML中需要昂贵的超参数调优。需要的是一种方法来决定所有的学习因素(优化方向和长度),以最大化泛化能力而不是数据拟合能力的方式。另外收敛速度也十分重要。contribution提出Meta-SGD算法,初始化、更新方向和学习率都是通过元学习来学习的,图中既决定了方向又决定了学习率。论文主要内容introduction在半监督学习中,用大量未标记数据来增加标记的原创 2021-08-31 19:22:02 · 1008 阅读 · 0 评论