增量学习入门【3】：模型分类

参考：
文献《连续学习研究进展》
文献《Deep Class-Incremental Learning: A Survey》

根据应对灾难性遗忘的措施不同，将当前增量学习模型分为以下几类：

一、基于正则化

1、参数正则化

防止与先前任务相关的权重发生漂移

EWC（权衡参数的重要性并与损失函数相关联）、PathInt、MAS、RWalk

2、知识蒸馏

LwF（知识蒸馏与微调相结合）、LFL、LwM、DMC、GD、iCaRL、

二、基于回放

• 基于范例的解决方案，存储有限的范例，以防止忘记以前的任务
• 这种范例指的是：保留少量的样本 或 生成合成图像 或 特征

GEM（当前任务与记忆任务的梯度大于90°时就将其投影到离记忆梯度最近的点，以约束损失函数不增加）、iCaR、RWalk、

1、范例的存储

① 范例的数量

• 内存固定时：必须首先删除一些范例，以为新的范例腾出空间，因此学习的任务$C$和样本越多，每个任务对回放的代表性样本$m=\frac{M}{C}$就越少。
• 内存可扩展时：只需要添加当前任务中的$m$个新样本，代价是内存的线性增加。
• 两种情况下，每个类的样本数量都被强制执行为相同的，以确保所有类的相同表示

② 范例的采样策略

• 随机选择：从可用的数据中随机抽样（随机抽样），这已经被证明是非常有效的，而不需要太多的计算成本。
• 集群herding：基于其对应的特征空间表示来选择样本，如类均值

三、基于网络架构

1、隔离/冻结参数

Piggyback、PackNet、HAT、DAN

2、动态网络

EG、PNN、P&C、ACL、RPS

四、几种类型之间的联系

五、模型的性能比较

• 通过从一个额外的数据集蒸馏获得的增益相当小
• 无范例方法中，LwF得到了最好的结果
• 知识蒸馏正则化（LwM）获得了优于权重正则化（EWC和MAS）的结果
• 一般来说，增加范例可以更好地减少遗忘，且有范例的情况下再增加正则化并没有很大的改善（在加入fixed memory情况下，FT表现全比LwF好；在growing memory中，FT大部分比LwF好）
• 当使用固定的范例记忆时，所有的方法在每个任务后都会得到改进。然而，对于不断增长的记忆，并非所有情况都是如此
• 对于较长的任务序列，集群（herding）是一种比随机抽样更稳健的样本抽样方法，但对于短序列，herding并不优于其他方法
• class-IL中明确处理新任务倾向偏差的方法，可以获得更好的性能
• 预训练模型可以减轻增量学习的负担，并表现出非常强大的性能
• 动态网络在评估中显示出最佳性能，但代价是额外的内存预算