Class Similarity Weighted Knowledge Distillation for Continual Semantic Segmentation

论文地址

Abstract

这篇工作在CSS领域主要是利用蒸馏和当前类别比较像的先前类别的知识，加强旧的容易被遗忘的类别的记忆，也让新类别学习得更好。

1. Introduction

作者这篇工作的观点在于，和新类别相似的旧类别在学习新类别时更容易被遗忘，即旧类别会被认为是新类别，具体可以看下图：

在animal group中，sheep的性能下降更猛烈；在vehicle group中，train下降更猛烈。

3. Method

3.1. Problem definition and background

本工作contribution可以分成三部分：伪标注，蒸馏和相似度权重。这三部分也对应着本文框架的三个损失函数。

3.2. Proposed REMINDER framework

伪标注和大部分CSS问题一样，就是在后面类别中用当前已经学习好的模型把旧的类别重新标注一下，然后在新的标注上继续训练：


蒸馏损失和其他利用蒸馏损失的CSS方法也是类似的，这里是参照了PLOP的local POD蒸馏方式：

最重要的是相似度权重这一部分，算是比较新颖的一处，就是通过计算新类别对应像素和旧类别的相似度，相似度越高，权重就越大，然后用加权之后的output去计算他提出的${\mathcal{L}}_{csw-kd}$。


那这个相似度又是怎么求得的呢？作者利用了prototype去存储类别相关的信息，这个prototype的具体计算方式如下：

然后利用prototype计算相似度：


这里的$m$是prototype map。

其他有关实验的部分这里就不放了，感兴趣的可以直接看原文。