一种迁移学习和元学习的集成模型

导言

本文提出了一种将迁移学习和元学习结合在一起的训练方法。本文是论文A Meta-Learning Approach for Custom Model Training的笔记

介绍

传统上我们需要很多的训练数据才能训练出一个好的模型。但是在很多任务上，如：自动驾驶，无人机等，我们就需要快速地应对一些未见过的情形。

迁移学习通过在其他数据集上的大量训练，然后将其训练出的模型复制到目标任务上，最后在目标任务上通过少量标注数据对模型进行微调。但是这个基于梯度下降的方法在新任务上依然需要很多的标注数据。

元学习则是指一类只关注学习本身的学习算法。元学习在任务空间进行训练，而不是在（像迁移学习一样）实例空间进行训练。迁移学习在单个任务上进行优化，但是元学习会在任务空间里采样多个任务，然后在多个任务上学习。因此元学习模型理所应当的在未知任务上表现地更好。虽然元学习确实在few-shot learning上表现良好，但是当目标任务上可训练的样本较多时，元学习的性能就不太好了。比如可能随着时间的推移，我们积累了越来越多的标注数据，我们当然想要不断地提高我们的性能啦！但是随着数据的增多，元学习可能就不work了。还有一种情形是，目标任务的类别太多时，元学习的表现也不太好。

所以作者就想到了要结合元学习和迁移学习之优势，以弥补各自的不足。

Meta-Transfer Learning (MTL)

这个模型有两个损失函数，1)任务专用的-迁移学习（task