MAML模型无关的元学习方法

Notes of MAML

Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. In 34th International Conference on Machine Learning, ICML 2017 (Vol. 3, pp. 1856–1868). International Machine Learning Society (IMLS).

Abstract

本文提出了一种与模型不可知的元学习算法，适用于所有使用梯度下降法进行训练的模型。此算法在回归，分类，强化学习三个任务上都达到了当时最好的性能。

1 Introduction

MAML主要是训练模型的初始参数，使得这个参数在新任务上经过少量的迭代更新之后就能使模型达到最好的效果。过去的方法一般是学习出一个迭代函数或者一个学习规则。MAML没有新增参数，也没有对模型提出任何约束。MAML可以看作是最大化损失函数在新任务上的灵敏度，从而当参数只有很小的改编时，损失函数也能大幅减小。

2 Model-Agnostic Meta-Learning

2.1 Meta-Learning 问题设定

考虑一个模型$f$，
$$f:\mathbf{x}\to \mathbf{a}$$
考虑一个任务分布$p(T)$,对于一个K-shot学习设定，模型$f$将通过K个样本来学习任务$T_i,T_i\in p(T)$。模型$f$通过$L_{T_i}$来更新参数。 模型从N个任务中学习，学习完之后，再取出一个新的任务T，从这个新的任务T取出K个样本训练后，再在这个新任务上的测试集上进行测试。

2.2 MAML 算法

$\varphi$为模型想要训练的初始参数，现在的目标是训练出一个$\varphi$，使得模型在未来迭代一次之后，就能达到很小的loss值。模型的优化目标是对“训练过后的loss值”最小化：
min ⁡ θ ∑ T i ∼ p ( T ) L T i ( f θ i ‘ ) =