CVPR21 Semantic-aware Knowledge Distillation for FSCIL

---

论文亮点：在知识蒸馏中引入语义信息（NLP中的词向量），完成FSCIL中对旧知识的保存。

故事脉络：
增量学习的挑战是对旧知识的遗忘和对新知识的过拟合。小样本增量学习的挑战更大，因为新类数据量少，更容易过拟合在这几个样本上，导致过拟合和灾难遗忘。已有方法中，知识蒸馏是解决增量学习一个很好的技术。但是该技术并不适合小样本增量学习，因为小样本增量学习存在严重的类别不平衡问题。文章提出使用增强的知识蒸馏技术来实现小样本增量学习。
分析可以发现，蒸馏学习需要两个东西，一个是之前训练好的模型，另一个是大量的新类的实例。小样本增量学习主要的挑战是第二个问题。为了解决这个问题，作者引入了额外知识，新类别的词向量。引入词向量后，所有的操作类似于零样本。那么，一个挑战就是如何获得好的视觉语义映射了。为了解决这个问题，作者提出了多个嵌入模块和一个注意力模块解决这个问题。效果如图c和d所示，不需要新的分类器参数，而且能更好的分开新类和基类：

---

1. 任务背景

1.1 增量学习

增量学习是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分已经学习到的知识。其非常类似于人类自身的学习模式，设想一下，当我们学会了 0-9 识别与书写，再学习 A-Z 字母表的识别与书写后我们仍然记得 0-9 数字的识别与书写，而目前传统分类任务是一个网络学习了 0-9 数字分类，再用这个网络学习 A-Z 字母分类后，就会难以对数字有一个很好的分类。

1.2 基于知识蒸馏的增量学习

知识蒸馏结合增量学习的部分，参考知乎文章对LwF方法的总结。

训练过程：

1. 现有一个在old数据上训练得到的模型M，
2. 输入新数据，得到的输出是旧模型M对新数据的旧类别预测输出Yo，
3. 用新数据微调M得到M’（M’包括所有类的输出），

loss函数分为三部分：

• 现在M’对新数据的旧类别输出Yo’与Yo之间的蒸馏loss，
• M’对新数据的新类别输出Yn’与ground truth Yn之间的交叉墒，【错得一致，保留旧知识】
• 正则化。

---

2. 方法

2.1 基于知识蒸馏的增量学习

2.2 小样本任务的多个嵌入

首先对基类进行聚类，得到几个聚类中心。然后每个新类就会分配一个聚类标签。用来训练注意力网络。

2.3 模型概述

注意，经过骨干网络B后，多个嵌入的融合得到的是class-specific的特征，而g是全局特征。

算法流程的这一part没有看懂。

看起来是利用新类的5个样本计算原型然后保存起来。那类别的word vector呢，怎么处理的？

---

3. 总结

需要分层次的剖析这篇论文。

---

4. 参考文献

1. Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning
2. 知识蒸馏是什么？
3. 基于知识蒸馏的增量学习
4. FSCIL论文详解
5. CVPR2020 ，FSCIL, Few-shot Class Incremental Learning.西交大 NG网络
6. ECCV2020，TPCIL，Topology Preserving Class-Incremental learning.西交大 CNN+拓扑结构
7. CVPR2021，Few-Shot Incremental Learning with Continually Evolved Classifiers.南洋理工 GAT(Graph Attention Network)
8. CVPR2021, Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning. 澳大利亚国立大学 知识蒸馏

FSCIL的挑战是CIL的方法在小样本场景下不能解决灾难遗忘和过拟合的问题。CVPR 2020和ECCV2020的方法尝试用拓扑结构解决，CVPR2021(南)是用图知识来解决，而CVPR 2021（澳）尝试用语义引导的知识蒸馏来解决。