南大LAMDA | PILOT: 基于预训练模型的持续学习工具包_pilot: a pre-trained model-based continual learnin-CSDN博客

本文链接：https://blog.csdn.net/m0_59235245/article/details/146920676

研究意义

深度学习在很多领域取得了巨大的进展，但是在日益变化的世界中，我们的训练样本常常以流式数据的形式产生。例如，尽管ChatGPT展现出了卓越的推理和对话能力，但它在实时为用户提供最新信息方面仍然面临一定的挑战，这种局限性主要来源于在新数据上重新训练GPT模型需要消耗巨大资源。为了解决该问题，持续更新和优化模型显得尤为关键，持续学习旨在使模型能够适应并从流式数据中不断学习和更新。同时，解决“灾难性遗忘”问题（即模型学习新的知识之后，几乎遗忘掉之前训练的内容），是持续学习领域的最关键的挑战之一。

在传统方法的设定中，模型是“从头开始训练”的。然而，随着预训练技术的快速发展，预训练模型（Pre-Trained Models）已广泛应用于下游任务。这些预训练模型通常在大量的语料库或海量的图像数据集上进行训练，具有强大的泛化能力。因此，类别增量学习（Class-Incremental Learning）的研究由从头训练模型开始转向利用预训练模型。同时最新的综述指出，基于预训练模型的方法在性能上显著优于依赖随机初始化的传统方法，因此，这引发了一个重要问题：我们是否仍然有必要继续研究传统CIL方法？为了解答这一问题，我们不仅复现了基于预训练模型的CIL的最先进方法，也对CIL领域的典型方法进行了适配，使其能够与预训练模型兼容，从而能够公平地对不同类型方法进行对比。

图1 基于预训练模型的持续学习设定

本文工作

本文开源了并将持续更新一个基于预训练模型的持续学习工具包，一方面该工具包实现了一些基于预训练模型的最先进的持续学习算法，另一方面将传统的持续学习算法迁移到预训练模型的场景下，以评估它们的有效性。PILOT工具包既包括了持续学习领域内的典型基线方法（如Finetune, iCaRL, DER等），也囊括了传统类别持续学习领域的典型算法（如FOSTER，MEMO等）；此外，PILOT将一直追踪并更新类别持续学习领域发表在顶级会议、期刊上的最新、性能最好的算法（如EASE，MOS，Aper等）。为方便研究人员开展工作，本文工具包已免费开源供下载使用：https://github.com/sun-hailong/LAMDA-PILOT。

当前PILOT中已复现了二十余种类别持续学习算法，部分简要介绍如下。

Finetune：不断地在新任务上训练预训练模型，更新所有参数，容易受到严重的灾难性遗忘的影响。

SimpleCIL：通过使用预训练模型提取原型特征并不断构建分类器，无需在下游任务上进行额外训练。

L2P：将视觉提示微调技术引入持续学习，使用预训练的视觉变换器，并建立一个提示池，用于选择特定实例的提示。

DualPrompt：在L2P的基础上提出了两种类型的提示，即通用提示和专家提示。

CODA-Prompt：在L2P的基础上使用注意力机制改进了提示选择过程。

APER：基于SimpleCIL，采用了参数高效微调技术来训练模型。随后，将微调模型与原始模型进行合并，以获得更强的特征用于构建基于原型的分类器。

RanPAC：将随机投影技术引入持续学习，使用马氏距离构建原型分类器，以便更好捕捉特征之间的交互。

SLCA：对分类头和特征层使用不同的学习率，并使用后处理的方式对分类层进行对齐。

LAE：定义了在线和离线学习协议，其中在线模型通过交叉熵损失进行更新，旨在获得新任务中的新知识。

EA****SE：通过轻量级微调为每个新任务创建新的特征子空间，并通过共现子空间中的语义相似性，对缺失的类别原型进行加权重组。

MOS：在训练阶段使用模型融合技术，在推理阶段利用模型内在的能力进行自我反思，有效缓解灾难性遗忘问题。

由于ImageNet基准与预训练数据集之间存在重叠问题，所以ImageNet不适合作为评估基于PTM的CIL方法的基准。为此，我们提供了一些新型的CIL基准，这些基准具有以下特点：1）与ImageNet数据集完全不同；2）与ImageNet存在显著的领域差异，从而考验PTM的泛化能力；3）包含来自多个领域的大规模数据集，以建立跨领域的持续学习基准。另一方面，考虑到预训练模型可能已经包含了广泛的上游任务知识，我们在CIFAR100、CUB200、ImageNet-R、ImageNet-A、ObjectNet、OmniBenchmark和VTAB等数据集上评估了模型的性能。这些数据集不仅代表了典型的CIL基准，还包括了具有显著领域差距的分布外数据集（即与预训练数据集有较大差异的数据集）。

我们主要从以下三个方面对PILOT与其他工具包进行比较：

（1）易迁移的PTM模型。PILOT不仅包括传统的CIL方法，还扩展了对最新基于PTM的CIL方法的支持。相比之下，其他工具包主要聚焦于传统的CIL方法，尚未探索PTM的整合。

（2）高效的网络架构和参数调优。通过将传统的ResNet骨干网络替换为使用PTM的架构，我们专门设计了独特的参数设置和调优方法。尽管传统工具包可以扩展以支持PTM，但它们主要针对CNN网络设计，因此适用于CNN的参数和超参数可能并不适用于PTM。

（3）全面的基准和数据集。我们提供了专门为PTM应用场景设计的基准和数据集。这些特定基准在获取准确的性能指标和评估方面上发挥了关键作用。

图2 PILOT工具包与其他持续学习工具包对比

实验结果

为了验证所复现方法的正确性并提供性能保证，本文在广泛使用的7个基准数据集CIFAR100、CUB200、ImageNet-R、ImageNet-A、ObjectNet、OmniBenchmark和VTAB上进行了大量实验。图3展示了在不同基准设置下，各算法的准确率随类别数目增加的变化曲线；表1则列出了在各个基准上，各算法准确率的具体数值变化。

图3 基准数据集上随类别数量增加的分类准确率

表1 在7个基准上不同方法的性能对比

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述