Online Meta-Learning 摘要速览

https://arxiv.org/pdf/1902.08438.pdf

智能系统想要解决：之前训练好的模型加速新任务的训练，
有两个范式解决这个问题：
meta-learning把这个问题看作：训练一个模型，这个模型在新的任务会快速适应，
相反，online (regret based) learning把这个问题看作： 只训练一个模型，适应一系列的任务，
这篇文章将meta-learning和online learning结合，
提出follow the meta leader (FTML) 算法，即拓展了model agnostic meta-learning (MAML)算法，
在三个大的不同的任务上的实验评估显著超越了传统 online learning

两个不同的研究流派研究之前的任务训练好被后面的任务利用来训练，Meta-learning把这个问题当做
learning to learn，即之前的经验用来作为一个先验的模型参数，相反，Online learning将连续的几个任务分开来，而目标是实现完全不训练（zero-shot）就泛化

我们认为两种流派都不是对于continual lifelong learning很理想，
Meta-learning采用learning to learn但是忽略了问题的 连续的 和 非静止的 方面，
Online learning没有考虑过去的经验在新的任务上的加速效果，
我们提出 在一个连续学习过程中 同时利用过去的经验 并快速学习新的任务。