论文分享：概率MAML

最新推荐文章于 2024-06-10 20:25:31 发布

liz_lee

最新推荐文章于 2024-06-10 20:25:31 发布

阅读量1k

点赞数 2

分类专栏：元学习文章标签：元学习贝叶斯小样本学习变分推断

本文链接：https://blog.csdn.net/liz_Lee/article/details/110039502

版权

本文介绍了《Probabilistic Model-Agnostic Meta-Learning》论文，探讨了如何在元学习中处理小样本学习的模糊性和不确定性。提出PLATIPUS方法，它基于MAML，通过变分推断在元测试阶段注入噪声，实现了模型参数的随机适应。实验表明，这种方法能有效处理回归、分类和多模态任务的模糊性，提供预测不确定性估计。

摘要由CSDN通过智能技术生成

题目与文章脉络

题目：《Probabilistic Model-Agnostic Meta-Learning》
时间：2018.07
机构：UC伯克利
行文安排：
Section1：介绍
Section2：现状
Section3：元学习概述
Section4：方法
Section5：实验
Section6：总结

摘要：
（1）元学习：是指获得先前的任务和经验，例如从少量数据中学习新的任务。
（2）小样本学习的一个关键挑战是：任务模糊性，即使可以从大量先验任务中通过元学习获得一个强大的先验,新任务的小数据集太过模糊，很难获得一个精确的模型(例如,一个分类器)。
（3）本文扩展了MAML，提出了一个概率元学习算法PLATIPUS。它可以从一个模型分布中为一个新任务采样模型，通过梯度下降适应新的任务，加入了通过变分下界训练的参数分布。在元测试时，我们的算法通过在梯度下降中注入噪声的简单过程进行调整，在元训练时，对模型进行训练，使这个随机适应过程从近似的模型后验中产生样本。
（4）实验结果表明，该方法能够对模糊小样本学习的分类器、回归器进行采样。

S1 介绍

元学习：利用过去的经验来学习任务的先验，在这过程中，发现来自同一家族的不同任务之间的共享结构。

小样本元学习的最终目标：从少量数据中学习新任务的解决方案

它面临问题：任务模糊性

即使有可能的最佳先验，示例中也可能没有足够的信息用于新任务，以高确定性地解决该任务。

开发能够对模糊的小样本学习问题提出多个潜在解决方案的小样本元学习方法的作用：
（1）可以用来评估不确定度(通过测量样本间的一致性)，进行主动学习，或促使人类直接监督哪个样本更好。
（2）不确定性是决定学习的预测器是否可信的关键。当从非常少的数据中学习时，不确定性估计也可以帮助预测额外的数据是否对学习有益，并提高对奖励的估计。

在小样本学习中，识别和计算模糊度很重要。
（1）在简单函数逼近器上（如线性），容易，因为表示函数的分布是相对简单的。
（2）在高维数据、大函数逼近器(如DNN)和多模态任务结构上，难，因为明确地表示成千上万或数百万个参数的表达分布通常很棘手。
GAP：现有方法集中于获得确定性学习算法，忽视模糊的基本功能。

创新：利用平摊变分推理建立了一个概率元学习方法，这种小样本学习方法同时具有可扩展性和不确定性。