ECCV2020
论文地址:https://doi.org/10.1007/978-3-030-58565_6
代码地址:https://github.com/arthurdouillard/incremental learning.pytorch
目录
2.2 POD(Pooled Outputs Distillation)方法
2.3 LSC(Local Similarity Classifier)
基于样本回放的方法,同时基于知识蒸馏,本文改进了蒸馏的形式,定义了Pooled Output Distillation(POD)
1.贡献点
PODNet受到representation learning的启发。贡献点有两个
- spatial-based distillation-loss, 基于空间的蒸馏loss,改进了feature的蒸馏方法
- representation comprising multiple proxy vectors, 代理向量,改进了模型的分类器。
2.方法
2.1 pool类型

不同的Pool方法,看图很好理解。GAP即global average pooling,相当于除了channel外的所有通道进行pooling.
2.2 POD(Pooled Outputs Distillation)方法

假定分类过程定义为:
![]()
h=f(x)定义为特征提取过程,g()可以被定义为分类器。这也是增量学习中常被采用的结构,即双阶段,一个分类器阶段,一个特征提取阶段。
本文提出POD(Pooled Outputs Distillation)算法,不仅将蒸馏用于特征提取阶段h=f()的最终输出,也应用于f()的中间过程(intermediate layer)。

本文提出了一种新的增量学习方法PODNet,通过改进知识蒸馏形式,引入空间基础蒸馏损失及多代理向量分类器,有效解决了模型在增量学习任务中的性能问题。
最低0.47元/天 解锁文章
2011





