Meta-SGD: Learning to learn quickly for few shot learning---翻译理解

Abstract

对于孤立地从头开始学习每个任务的算法来说，少镜头学习是一个挑战。相反，元学习从许多相关的任务中学习，元学习者可以用更少的例子更准确、更快地学习新任务，而元学习者的选择是至关重要的。在这篇论文中，我们开发了一种类似于sgd的、易于训练的元学习器，它可以在监督学习和强化学习上一步初始化和适应任何可微分的学习者。与流行的元学习器LSTM相比，元sgd在概念上更简单，更容易实现，并且可以更有效地学习。与最新的元学习者MAML相比，元- sgd具有更高的学习能力，不仅学习初始化，而且学习更新方向和学习速率都在一个单一的元学习过程中。元- sgd在回归学习、分类学习和强化学习等小概率学习方面具有很强的竞争力。

1 Introduction

从小数据中快速学习和适应的能力对智力至关重要。然而，目前深度学习的成功在很大程度上依赖于大标签数据。它通过使用随机梯度下降(SGD)对数据进行广泛的增量模型更新，在数据上拟合一个深度神经网络，孤立地、从零开始地学习每个任务。该方法本质上是数据饥渴和耗时的，对于数据有限的问题或在动态环境中快速适应至关重要的问题具有根本性的挑战。相反，人类可以通过利用以前的经验从一些例子中快速学习。这种数据效率和快速适应的能力，如果在机器学习中实现，可以极大地扩展其效用。这激发了少镜头学习的研究，它的目的是快速学习从只有几个例子[15]。
一些现有的思想可能适用于少镜头学习。在迁移学习中，人们经常使用目标数据[22]对预先训练好的模型进行微调，在这种情况下，不放弃先前获得的知识是很有挑战性的。在多任务学习中，目标任务与辅助任务共同训练，提取目标问题[4]的归纳偏差。很难决定在联合模型中共享什么。在半监督学习中，我们用大量未标记的数据来扩展标记目标数据，以利用数据[28]的整体分布。这种方法需要强有力的假设才能奏效。虽然这些努力可以在一定程度上缓解数据稀缺的问题，但是使用先验知识的方式是特定的，而不是泛化的。我们需要一种有原则的方法，通过少镜头学习来表现、提取和利用先验知识
元学习通过将学习水平从数据提升到任务，为机器学习提供了一个新的视角[3,20,24]。考虑监督学习。惯例学习从一组标签的例子,而元学习学习(标签)的任务,每个表示为一个标记训练集和一个标记测试集。接触广泛的假设是,任务空间的范围,一个学习代理可能会找出一种学习策略根据空间的任务。