论文详解Memory Efficient Incremental learning through feature adaptation. ECCV2020 基于增量特征映射

ECCV2020，由Google Research提出。

看标题是基于样本回放的方法。如何在网络变化之后，将旧特征映射到新特征。

类似的方法例如SDC，Semantic Drift Composition。

SDC:  SDC论文详解Semantic Drift Compensation for Class-Incremental Learning. CVPR 2020

目录

1.贡献点

1.1 基于rehearsal方法的分类

1.2 贡献点

2.框架

2.1 特征提取+分类器

2.2 蒸馏Loss

2.3 Feature Adaptation

2.4 feature adaptation network

2.5 Memory尺寸的降低

3. 实验

3.1 存储效率

3.2 准确率

4. 评价

---

1.贡献点

模型不存储样本，只存储样本提取出的feature. 本文通过多层感知机实现feature的新适应。

1.1 基于rehearsal方法的分类

基于rehearsal的方法分为如下几类：

1. Non-rehearsal: 即不需要rehearsal, 例如LwF直接用新旧网络之间进行知识蒸馏，不需要存储旧样本。
2. Exemplars: 直接存储原始图片，例如iCARL（Incremental Classifier and Representation Learning）,直接将原始图片存储为exemplars.
3. Generated images: 利用GANs生成fake images
4. Feature based methods: 基于特征存储的方法，直接利用memory存储网络特征。

1.2 贡献点

1. 如何在特征提取网络变化之后，对应的存储的旧特征也应该发生变化，本文用多层感知机模拟这种映射。
2. 本文方法存储负担对比同类方法极小
3. 性能达到SOTA

2.框架

如图所示，模型根据新图片提取出特征，同时需要对旧特征进行适应。因为相应的增量模型发生了变化，旧存储的特征也会发生变化。

2.1 特征提取+分类器

依然是非常常见的，特征提取模块加上分类器模块。假定特征提取模块是hΘ(), 分类器模块是gW(), 非常常见的结构就是：

对应的loss，比如交叉熵Loss：

这个模型结构太常见了，特征提取模块加上分类器