本次讲述的论文:
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
首先现在这里介绍一下元学习器的作用。元学习器,即meta learner,为训练优化学习器(即learner)的一个网络,即我们需要使用一个元学习器来训练一个学习器,让学习器能够更好地适应多种任务以及快速学习。可以认为元学习器在学习器的视角来看,就是meta层面的。
对于一个任务,如果想要一个神经网络去解决这个任务,一般我们需要针对这个任务来训练一个模型,通过一定量的数据训练之后,这个模型便能够较好地解决这个问题。但是,如果对于每个不同的任务,我们都需要构建不同的模型,同时经过训练后才能解决问题的话,就很费时费力。所以,本篇论文提出了一个想法,能够构建一个较为通用的模型,在其上有一个元学习器,元学习器通过来自不同任务的少量样本来学习这个模型的参数,从而让这个模型能够解决相应的任务,这样就大大提高的效率,同时也使得这个模型通用性增强。
总而言之,在元学习中,训练模型的目标是从少量新数据中快速学习新的任务,该模型由元学习器训练并且能够在大量不同任务中进行学习。其关键思想是去训练模型的初始化参数,通过来自新任务的少量数据进行一步或多步梯度计算来更新参数。在小样本分类问题中,该模型就是一个分类器,而元学习器就是一个神经网络,用来训练这个分类器的初始化参数,使得这个分类器在面对不同的任务的时候,都能够做到快速地学习。