Meta-Transfer Learning for Few-Shot Learning 论文笔记

前言

元学习（meta-learning）是目前广泛使用的处理小样本学习问题的方法，它的目的是在学习不同任务的过程中积累经验，从而使得模型能够快速适应新任务。比如在MAML（Model-Agnostic Meta- Learning）中，通过搜寻最优初始化状态，使得base-learner能够快速适应新任务。但是这一类元学习方法具有两个缺点：

1. 需要大量相似的任务以进行元训练（meta-training），成本花费很大；
2. 每个任务通常由较低复杂度的base-learner进行建模，以避免过拟合，这会导致模型不能使用更深更强的结构。比如在MAML中，使用的是shallow CNN，只有4个卷积层。

本文提出了一种新的元学习方法，称为meta-transfer learning（MTL），当仅使用少量带有标记的数据时，它可以帮助深度神经网络快速收敛，并且降低过拟合发生的概率，

• "transfer"意味着在大规模数据集上训练得到的DNN权值，可以通过两个轻量级的神经元操作从而被使用到其它任务中，这两个操作分别是scaling和shifting（SS），比如$\alpha X+\beta$。
• "meta"意味着这些操作的参数可以看作是针对小样本学习任务训练的超参数。

通过大规模数据集训练得到的DNN权值提供了一个很好的初始化状态，可以确保MTL在处理小样本任务时能够快速收敛。而在DNN神经元上进行的轻量级操作也使得模型的参数更少，降低了过拟合的可能。除此之外，这些操作保持DNN的权值不被改变，从而避免了当适应新任务时，模型会遗忘通用模式这种情况的发生。

本文还提出了一种新的学习策略，称为hard task（HT）meta-batch，以往的meta-batch包含的是一些随机任务，而HT meta-batch根据之前在训练时出现的具有较低验证准确度的失败任务，对hard task进行重新采样。

本文的贡献如下：

1. 提出MTL方法，使用经过大规模数据集预训练得到的DNN权值，来处理小样本学习任务；
2. 提出HT meta-batch学习策略，迫使MTL通过hard task进行学习；
3. 在两个小样本学习benchmark上进行实验并取得优异的结果。

---

方法实现

如上图所示，本文的方法共包含3个阶段：

4. 在大规模数据集上训练一个DNN，并固定较低层级的卷积层作为特征提取器（Feature Extractor）；
5. 在MTL阶段，学习特征提取器神经元的SS参数（scaling和shifting），确保能够快速适应小样本任务。除此之外还采用了HT meta-batch学习策略，以提升整体的学习；
6. meta-test阶段

1. DNN的训练

这一阶段类似于目标识别中的预训练阶段，这里是在小样本学习benchmark的现成数据集上进行预训练。对于一个确切的小样本数据集，将会融合所有类的数据$D$以进行预训练。比如在miniImageNet中，$D$的训练集中共有64个类，每个类包含600个样本，那么将利用所有这些数据进行预训练，得到一个64-class分类器。

首先随机初始化一个特征提取器$\Theta$和分类器$\theta$，通过梯度下降对它们进行优化：

其中$L$是交叉熵损失：

这一阶段主要通过学习得到一个特征提取器$\Theta$，在后续的meta-training和meta-test阶段，$\Theta$将会被冻结，而这一阶段得到的分类器$\theta$将会被去掉。

2. MTL

MTL通过HT meta-batch训练来对元操作（meta operation）SS进行优化，将SS操作分别定义为${\Phi }_{S_1}$和${\Phi }_{S_2}$，给定任务$T$，$T^{(tr)}$是训练数据，使用$T^{}$