增量学习入门【1】：基本概念

参考：
文献《连续学习研究进展》
文献《Deep Class-Incremental Learning: A Survey》​

一、增量学习的定义及与其他领域的比较

1、增量学习的定义

• continual learning(CL) / incremental learning(IL)
• 学习新任务后保留之前所学的知识
• 解决稳定性-可塑性困境
• 降低灾难性遗忘

2、增量学习vs.迁移学习

• 都需要知识迁移能力
• 迁移学习不关心遗忘问题，而增量学习需要保证保留学过的知识

3、增量学习vs.多任务学习

• 多任务学习是同时学习多个任务，说明网络容量足以学习多个任务；当遇到新任务时，网络需从头训练；不存在遗忘
• 增量学习是任务按顺序到达，所以会发生遗忘
• 可以认为多任务学习是增量学习的上限

4、增量学习vs.元学习

• 元学习期望提高模型的学习能力，可以在新任务上快速调整和学习
• 元学习不涉及保留过去任务的知识

5、跨域学习

• 同时在两个数据集(不同域)上进行训练，相当于扩展了原数据集以帮助学习

6、在线学习

• 在线学习要求每个样本只能使用一次，不强求模型保留过去的知识
• 增量学习允许在进入下一个任务之前多次处理当前/过去任务的数据
• 期望实现在线学习的增量学习，做到数据以流式方式到达

二、增量学习的分类

• 增量学习数据集可以包括：输入 $x\in X$，输出标签 $y\in Y$，任务/类别标签 $c\in C$
• 根据测试期间，算法是否知道任务/类别标签信息，是否需要推断出所属的任务类别，将连续学习分为3种类型

1、任务增量学习Task-IL

• $f:X\times C\to Y$
• 学习一组清晰可区分的任务
• 例子：学习玩不同的运动或不同的乐器（因为通常演奏哪种运动或乐器是已知的）
• 挑战：防止灾难性遗忘的同时，利用多种任务提高学习能力，即积极实现前向迁移和后向迁移

2、域增量学习Domain-IL

• $f:X\to Y$
• 在不同的环境下学习相同的问题
• 例子：在不同的光照条件下识别物体
• 挑战：在测试时间算法不知道样本属于哪个任务（虽然识别任务类型并不是必要的，因为每个任务都有相同的可能输出；但是在某些场景下，只有先识别出任务，才能触发特定的算法组件学习）

3、类增量学习Class-IL(CIL)（较难）

• $f:X\to Y\times C$
• 学习如何区分越来越多的对象或类
• 例子：学过区分猫狗、猪牛，现在要区分猫牛
• 挑战：既能解决每个单独的任务（即区分同一个任务类别中的不同样本），也能够识别一个样本属于哪个任务（即区分不同的任务类别）

三、灾难性遗忘的可能原因

1、Weight Drift

在学习新任务时，与旧任务相关的网络权重被更新，以使新任务的损失最小化。因此，以前任务的表现会受到影响–往往是极大的影响

2、Activation Drift

与权重漂移密切相关，改变权重会导致激活的变化，从而导致网络输出的变化。专注于激活而不是权重，可以减少限制性，因为这允许权重的变化，只要它们导致的层激活变化最小

3、Inter-task Confusion

在类增量学习中，目标是对所有任务中的所有类别进行区分。然而，由于各类从来没有被联合训练过，网络权重不可能最优地区分所有的类。这对网络中的所有层都适用

4、Task-Recency Bias

分开学习的任务可能会有不相容的分类器输出。通常情况下，当前的任务偏向于较新的任务类别。在混淆矩阵中可以清楚地观察到这种效果，它说明了将输入错误地分类为属于最近的任务的趋势

5、data imbalance

旧类和新类的样本数量不公平，class与class间数据不平衡，task与task间数据不平衡