MAML:Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

元学习的目标是在各种学习任务上训练一个可以仅仅使用少量训练样本就可以解决新任务的模型，在本文中，模型的参数训练很明确，所以从新任务的少量样本做几步梯度下降就可以在新任务上得到好的泛化性。同时，由于模型可应用于一系列使用梯度下降训练的模型，包括分类，回归，强化学习等等，所以也叫作模型无关的模型。
本文的关键思想在于训练模型的初始参数，使得模型的参数在某个新任务上仅适用少量样本经过一步或者几步梯度下降更新后就可以早新任务上有很好的表现。从特征学习的角度来看，这是一个建立适应多种任务的内部特征表达的过程，使得其可以更容易，更快速的fine-tune；从动态系统的角度来看，学习过程可以被看做是最大化loss function对于和新任务有关的参数的敏感度，当敏感度高时，参数的小的局部改变可以使loss得到巨大的提高。

模型

任务设定

考虑一个模型，用$f$表示，将观察值x映射到输出a上。在元学习过程中，模型被训练以适应于大量或无限的任务。任务可以形式化地定义如下，
T = { L ( x 1 , a 1 , . . . , x H , a h ) , q ( x 1 ) , q ( x t + 1 ∣ x t , a t ) , H } \mathcal{T} = \{\mathcal{L}(x_1,a_1,...,x_H,a_h),q(x_1),q(x_{t+1}|x_t,a_t),H\} T={ L(x1​,a1​,...,xH​,ah​),q(x1​),q(xt+1​∣xt​,at​),H}
由损失函数$\mathcal{L}$，基于初始观察值的分布 q ( x 1 ) q(x_1) q(x