基于虚拟类别的小样本增量学习Semantic-Aware Virtual Contrastive Constraint 论文笔记 CVPR2023

CVPR 2023

论文地址：https://arxiv.org/abs/2304.00426v1

代码地址：https://github.com/zysong0113/SAVC

关键词

• Few-shot class-incremental learning (FSCIL): 分类增量学习中的少样本情况问题。
• Base class separation: 基类间分离度的重要性。
• Semantic-aware virtual contrastive learning: 语义感知虚拟对比学习方法。
• Fantasy space: 通过虚拟类定义的“梦幻空间”。
• Virtual class: 定义转换后的虚拟类。
• Multi-view inference: 多语义视图预测融合。
• Classifier subsets: 根据转换扩展的分类器子集。
• Joint optimization: 分类对比任务联合优化框架。
• Incremental fine-tuning: 每个增量会话的微调更新。
• Novel class generalization: 新类泛化能力的核心指标。

1. 贡献点

本文提出了Semantic-Aware Virtual Contrastive（SAVC）框架，

研究了FSCIL的增量冻结框架（incremental-frozen framework）中提高类分离度的重要性，

在CIFAR100, miniImageNet 和 CUB200 达到SOTA。

2. 方法

2.1 总体方法

本文总体框架为SAVC，基础建立在CIL的主流Incremental-Frozen框架之上。

核心是构建了一个“虚拟类空间”，通过预定义的转换（如旋转、颜色抖动）对原样本生成虚拟样本，在语义上对原类进行扩展，并在这个空间中进行类内聚合与类间分离的工作。

Loss通过优化全局损失与局部对比损失的训练，多尺度局部对比加强学习局部特征，并在每次增量会话采用上述联合损失微调更新模型。

2.2 Fantasy space

指通过预定义转换在虚拟类空间构建的语义扩展空间，使原空间在语义上进行细粒度的延伸。

意义

(1) 为新类别学习预留足够的划分空间,避免与老类别重叠。

(2) 提供丰富的语义信息,有助提高学习和推理的效果。

(3) 实现多语义水平的学习融合。

实现

(1) 将分类任务转到虚拟类空间进行，利用交叉熵损失驱动。

(2) 建立对比学习任务,在梦幻空间内实现类内聚合、类间分离。

(3) 采用MoCo框架,特征提取器作为查询网络学习表示。

(4) 关键网络采用momentum更新提取关键信息。

(5) 根据积累特征-标签对计算对比损失。

2.3 多语义联合推理

多语义推理通过对测试样例进行多次转换，可以实现多维度的语义理解，有利于提高分类效果。

实现方法

• 对测试样例做预定义转换,获取多语义视图。
• 每个视图输入对应的子分类器进行单独预测。
• 子分类器根据转换扩展主分类器学习基虚类原型。

子分类器根据转换编号扩展自主分类器，每个子集表示基类和同编号虚类中心。采用平均融合规则累计各视图预测得分，选择得分最高类作为最终预测。

3. 实验

本文方法在三个数据集中的表现优于其他同类的方法

4. 结论

思路：在 虚拟类空间 构建“ Fantasy space ”，利用分类对比任务共同优化,实现基类分离，并通过多语义融合实现预测,从而很好解决了FSCIL任务中的难点问题。