D3Former: Debiased Dual Distilled Transformer for Incremental Learning

这篇文章是cvpr2023年的一篇文章，探索了ViT模型在增量学习的应用。ViT模型训练需要大量的数据，但增量学习每个新任务的数据一般较少。作者利用了一种比较新的transformer模型，a Nested Vision Transformer，适用于大型数据集和小型数据集。同时，为了使该模型适用于增量学习的情景，作者提出了两个关键组件来减轻灾难性遗忘：
1.Debiasing via Logit Adjustment
2.Dual Distillation:除了在logits /特征上应用的常规蒸馏损失，随着增量学习的进展，保持教师模型和学生模型在输入图像上的关注保持一致。