Few-Shot Class-Incremental Learning from anOpen-Set Perspective论文笔记

 ECCV2022

目录

摘要

Introduction

Problem Formulation

Methodology

 实验

---

摘要

        一个Few-Shot Class-Incremental Learning (FSCIL)模型，需要在所有类上表现良好，无论它们的表示顺序如何或是否缺乏数据。它还需要对需要对较少的数据 (one-shot scenario) 具有鲁棒性，并且容易适应该领域出现的新任务

        目前的SOTA方法仅使用class-wise average accuracy类平均精度来评价模型的性能，无法评估是否由于类不平衡和数据不平衡存在prediction bias预测偏差；而且很少考虑极端的one-shot setting情况

        受Few-Shot Class-Incremental Learning (FSCIL)和人脸识别系统目标相似性的启发，作者提出 Augmented Angular Loss Incremental Classification（ALICE）方法

        在ALICE中，论文建议使用angular penalty loss角补偿损失来获得良好聚类的特征，而不是通常使用的交叉熵损失。由于获得的特征不仅需要紧密聚类，而且还需要足够多样化以保持未来增量类的泛化，因此论文进一步讨论了class augmentation, data augmentation, and data balancing 类增强，数据增强和数据平衡如何影响分类性能

Introduction

        FSCIL要求经过训练的模型不仅要快速适应不断到达的新任务，还要保留有关先前学习的任务的旧知识。考虑到实际应用，理想的FSCIL模型需要具备以下特点: 1) 无论训练呈现顺序是什么，模型都需要在所有类上表现良好; 2) 模型需要对极端数据稀缺具有鲁棒性

        但是，当前的SOTA方法主要使用唯一的类平均精度来评估模型性能，无法评估由于类不平衡和数据不平衡而导致的预测偏差。由于通常存在比增量类更多的基类，并且每个增量类仅提供有限的数据，因此很容易发生对基类的预测偏差。此外，由于增量数据收集和稀有数据类型，当前的SOTA方法很少考虑在现实世界中可能发生的极端one-shot setting一次性设置

        作者受到FSCIL和人脸识别任务之间相似性的激励。人脸识别系统通过其深度度量学习框架学习快速区分和识别新面孔。无需再训练即可处理新身份的能力是现代人脸识别方法的一项重大成就，也是FSCIL任务所希望的。另一方面，作者受到FSCIL和数据增强之间直观联系的激励。数据增强的重点是改进DNN的泛化。提取跨基类和增量类可转移的各种特征的能力对于FSCIL任务很重要

        主要贡献

（1）重新评估了当前的任务设置，为FSCIL任务提出了更全面和实用的实验设置和评估指标

（2）提出ALICE方法，使用angular penalty loss来获得良好聚类的特征

（3）由于获得的特征不仅需要紧密聚类，还需要足够多样化以保持未来增量类的泛化，因此进一步讨论了 class augmentation, data augmentation, and balanced data embedding如何影响分类性能

（4）在包括CIFAR100，miniImageNet和CUB200在内的基准数据集上进行的实验表明，与最先进的FSCIL方法相比，ALICE的性能有所提高

Problem Formulation

        FSCIL任务包括一个具有足够训练数据的base任务和多个具有有限训练数据的incremental增量任务

        假设一个M步FSCIL任务。设  {D0train，D1train，...，Dmtrain} 和 {D0test，D1test下，...，Dmtest} 分别表示会话session {0,1，...，m} 的训练和测试数据。对于会话i，它具有具有Ci的相应标签空间的训练数据Di训练。来自不同会话的训练数据没有重叠的类，因此当我在 = j时，Ci ∩ Cj = ả。在测试期间，该模型将在迄今为止所有看到的类上进行评估，因此对于session i，其测试数据Di测试一下具有相应的标签空间C0 ≈ c1... ci。此外，对于基本会话 (i = 0)，提供了足够量的训练数据，并且对于以下增量会话，仅提供了有限量的数据

       number of few-shot data 当前的基准实验是在每个增量步骤可用的5次，10次或更多数据的情况下进行的。很少考虑由于极其稀缺的数据类型而在现实世界中容易发生的1-shot的极端数据稀缺情况。

        evaluation metric 当前的基准评估指标主要使用classwise平均准确性来评估FSCIL模型的性能。由于通常存在比增量新类更多的基类，因此使用平均精度无法指示基类和增量类之间是否存在预测偏差。如果一个方法的良好性能主要由基类性能决定，则不能将其视为良好的FSCIL方法。

        dataset 基类和新类之间的相似性将极大地影响模型性能，因为基础特征 (如细粒度数据集) 的高可重用性自然会减少灾难性遗忘的挑战。最佳FSCIL模型不仅需要在高分布匹配的细粒度数据集上表现良好，而且还需要在低分布匹配的数据集上表现良好。

        论文首先为FSCIL任务提出了一个更全面、实用的设置 为了全面模拟真实世界的FSCIL条件并评估FSCIL方法的鲁棒性，论文考虑了基准5-shot and 1-shot settings；对于评估指标，建议同时使用average accuracy and harmonic accuracy平均精度和调和精度来评估整体性能，而且还评估基类和增量类之间的性能平衡。此外，在通用 (CIFAR100和mini-ImageNet) 和细粒度 (CUB200) 数据集上进行实验，以消除由于基类和增量类之间的高度相似性而可能带来的性能优势

Methodology

        对于base session，用angular penalty loss训练特征提取器，以获得紧凑的类内聚类和广泛的类间分离。采用类增强和数据增强来改善特征提取器的泛化能力

        对于incremental sessions，使用选择的平衡数据为每个类生成prototypes，将最接近的类均值和余弦相似度结合起来进行分类

-----------------------------------------------------------------

        Angular Penalty

-----------------------------------------------------------------

Augmented Training

        多样化和可转移的表示是开放集问题的关键。显示大量类是获得这种特征提取器的一种方法

 

 

        在训练过程中显示各种图像条件下也是获得通用特征提取器的好方法。受自我监督学习  的启发，使用每个图像的两个增强来增强训练数据的多样性。图1显示了增强过程。在训练过程中，对于每个输入图像，我们从一组预设的转换策略中随机生成两个增强。对于使用的转换方法，随机应用调整大小的裁剪，水平翻转，颜色抖动和灰度。然后将两个转换后的数据发送到骨干网。对两组增强的损失进行平均并向后传播以更新模型参数。此外，为了避免特征提取器对基本会话数据的过度专业化，遵循SimCLR ，我们在最终完全连接的层之前使用额外的投影层。通过利用非线性投影头，可以在特征提取器中形成和维护更多信息。

 

-----------------------------------------------------------------

 

 

 实验