增量学习 （Incremental Learning)

语义分割中的增量学习

语义分割中的增量学习设置为：在第t个step，学习新的类别c^t,c^t的label仅包含当前学习的c^t类别，所以在学习时要保证既学习到当前类别知识，又不能灾难性遗忘之前的类别知识。
在语义分割的增量学习任务中，要解决的重点问题是当前的ground truth的background 类别，可能既包含过去学习过的真实类别，又包括未来要学习的潜在类别。

1. 《Modeling the Background for Incremental Learning in Semantic Segmentation》 --CVPR 2020

总体思想是对当前类别的学习采用交叉熵loss,同时计算当前类别和过去类别的蒸馏loss避免遗忘。为了解决background的问题，对两个loss进行转换。
对于新类别的loss，背景部分的概率由（背景类别+过去类别）来表示，以此保留模型本身对过去类别的预测能力；对蒸馏loss，同样的思想，将背景部分概率表示为（当前新类别+背景类别），故蒸馏旧类别的同时不影响对当前新类别的预测。

2. 《PLOP: Learning without Forgetting for Continual Semantic Segmentation》

提出了多尺度的蒸馏和伪标签思想，重点是伪标签思想来实现对过去类别的保留，避免遗忘。