R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning

R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning

问题

DFCIL（Data-Free Class Incremental Learning）中，利用模型反演（model invertson）来合成先前任务的数据，对合成数据进行知识蒸馏获得过去知识。但是合成数据与新数据间存在着严重的domain gap,误导了新类和旧类的决策边界。
对DFCIL with synthetic data of previous classes问题进行研究后，作者提出了先前方法中的瓶颈。（1）由于合成数据（旧类）和真实数据（新类）的domain gap，模型学到的可能是domain feature而不是类的sematic feature来将新旧类分开的。（2）为了克服遗忘，先前的工作对合成数据和新类的数据执行相同的知识蒸馏方法，忽略了它们之间的差异，这实际上损害了模型的可塑性，并且无助于缓解提高可塑性与维持稳定性之间的冲突。

思路

（1）提出关系指导的表示学习 (RRL)，硬知识蒸馏 (HKD) 用于合成的旧数据，关系知识蒸馏 (RKD) 用于新任务数据。（2）使用local classification loss (模型在新类上的预测与ground truth之间的交叉熵) 代替表示学习期间的global classification loss(模型在all seem classes上的预测与ground truth之间的交叉熵)，在使用小学习率的global class-balanced classification loss进行分类头细化之后。
局部分类损失提高了模型的可塑性，硬知识蒸馏保持了模型的稳定性，关系知识蒸馏缓解了它们之间的冲突。