Meta-Learning with Differentiable Convex Optimization||论文阅读

Abstract

很多元学习方法都依赖于简单的基础学习者，比如最近邻分类器。然而，即使是在很少的情况下，经过区别训练的线性预测器也能提供更好的泛化。我们建议使用这些预测器作为基础学习者来学习用于少镜头学习的表示，并表明它们在一系列少镜头识别基准中提供更好的特征大小和性能之间的折衷。我们的目标是学习新类别在线性分类规则下的特征嵌入。为了有效地解决这个问题，我们利用线性分类器的两个性质:凸问题最优性条件的隐式微分和优化问题的对偶公式。这允许我们使用高维嵌入和改进的泛化，并在计算开销上略有增加。我们的方法，名为MetaOptNet，在miniImageNet、tieredImageNet、CIFAR-FS和FC100少镜头学习基准测试中实现了最先进的性能。我们的代码可以在网上找到。

Introduction

从几个例子中学习的能力是人类智能的一个标志，但它仍然是现代机器学习系统的一个挑战。这个问题最近受到了机器学习社区的极大关注，他们将很少的学习视为元学习问题(例如[22,8,33,28])。目标是尽量减少泛化错误分布的任务，训练例子很少。通常，这些方法由一个将输入域映射到特征空间的嵌入模型和一个将特征空间映射到任务变量的基本学习器组成。元学习的目标是学习一个嵌入模型，这样基础学习者可以很好地跨任务进行泛化。

虽然基础学习者有许多选择，但最近邻分类器及其变体(如[28,33])是由于分类规则简单，且在低数据的情况下具有良好的可扩展性，因此该方法很受欢迎。然而，在低数据的情况下，区分训练的线性分类器通常比最近邻分类器(例如，[4,16])表现得更好，因为它们可以利用反面例子，这些反面例子通常更丰富，从而学习更好的类边界。通过适当的正则化如权值稀疏性或范数等，可以有效地利用高维特征嵌入