持续学习解决的问题是训练单一模型处理变化的数据分布,其中不同的分类任务按顺序呈现
为了说明监督学习和持续学习之间的区别,考虑两个任务:(1)对猫和狗进行分类(2)对熊猫和考拉进行分类。在使用IID的监督学习中,模型被赋予来自两个任务的训练数据,并将其视为一个单独的4类分类问题。然而,在持续学习中,这两个任务是顺序到达的,模型只能访问当前任务的训练数据。因此,这样的模型往往会在之前的任务中遭遇性能下降,这种现象被称为灾难性遗忘。
我们人类有能够将一个任务的知识用到另一个任务上的能力,学习后一个任务时也不会忘记如何做前一个任务。这种能力叫持续学习 (continual learning/ life-long learning) 。而这个能力归结起来主要有两个问题:
如何能把之前任务的经验用上,使得更快更好的学习当前任务;
学习当前任务时,不会忘记之前已经学会的任务。
用更专业的术语来讲就是可塑性(学习新知识的能力)和稳定性(旧知识的记忆能力)。
可是,神经网络不同于人类,由于其自身的设计天然存在灾难性遗忘问题。当学习一个新任务的时候,需要更新网络中的参数,但是上一个任务提取出来的知识也是储存在这些参数上的呀。于是,神经网络在学习新任务的时候,旧任务的知识就会被覆盖。