持续学习综述

目标检测综述-CSDN博客

持续学习综述-CSDN博客

联邦学习综述-CSDN博客

少样本.单样本.无样本学习 综述-CSDN博客

预处理和损失函数-CSDN博客

对比学习综述-CSDN博客

---

持续学习/增量学习

持续学习两种数据集构建：数据分割，像素置换

三种持续学习场景：领域增量学习 类增量学习 任务增量学习

领域增量学习：输入分布不同

类增量学习  ：输入分布不同    输出标签不同

任务增量学习：输入分布不同    输出标签不同    期望输出目标不同

                       任务增量学习提供任务标识，不需要跨任务的辨别能力

可塑性—稳定性困境

类增量学习：iCaRL  用作图像分类

提出了一个类增量算法应该具有的三个特征：

1. 可从数据流中训练，不同类的示例在不同时间出现
2. 在任何时候都是目前为止最有竞争力的多类分类器
3. 计算需求和存储器占用应保持有界，或非常缓慢地增长

算法流程：

每当有新的类别加入：1将之前存储的旧类采样集和当前训练类别的数据取并集，得到此次训练的数据集；2使用之前旧的模型提取特征，计算每个类别的平均特征向量，根据向量距离实现分类预测；3采用基于新数据分类loss和旧数据蒸馏loss的损失函数更新网络参数。  

然后更新采样集：1对新加入的类别，选取m个样本，这m个样本的平均特征最接近全部样本的平均特征（即最能代表该类别的m个样本，编号越小越能代表）；2删除旧类采样集的部分样本（以保持内存占用基本保持不变）

预训练模型的持续学习    针对类增量学习

持续学习（CL）的现有工作主要致力于为从头开始训练的模型开发算法，并以此衡量CL算法的性能

但实际应用场景，从头开始训练效率太低了，更多是从一个预训练模型的基础上开始训练。

然后观察到：

当所有CL算法都从预训练模型开始时，原本性能不佳的算法可能会变得具有竞争力，甚至是最先进的算法。

方向：

三个不同的轴进行调查：不同的预训练模型，不同的CL算法和不同的CL场景

结论：

首先证明从预训练模型上学CL比从头学效果好。

预训练模型在不同CL算法上的优势差异很大

三大方法（正则化、重放方法和参数隔离…）

与基于正则化的算法相比，基于重放的CL算法似乎更受益于预训练的模型

微调时：自监督的微调有助于减轻灾难性的遗忘---特征提取和分类器的解耦训练有助于避免灾难性遗忘

在给定任务的数据上迭代多个epoch，如在类增量学习（CIL）中，并不一定比在线CIL提高性能。---在CIL中，模型过度拟合当前任务，这就是遗忘

A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning

Neural Networks  t1

连续学习、主动学习  对抗灾难性遗忘

在主动学习中，目标是学习在让系统本身查询接下来要包含什么数据的挑战下，逐步找到任务解决方案的最佳近似。因此，它可以被视为减轻灾难性遗忘的拮抗剂。当前的持续学习主要是维护在每一步中获得的信息，而不是无休止地积累所有数据，而主动学习则集中在识别合适的数据以纳入增量训练系统的补充问题上。

不论是正则化还是重放的持续学习，核心都是我们需要找到已知数据分布的一个很好的近似。---有主动学习实现

评价指标：

孤立的机器学习中，评估场景通常可以通过采用预测精度相关指标；持续学习重要的是要监控当前引入的任务，但也要研究以前任务的语义漂移。人们应该考虑在渐进实验中从任务到任务的增益和利用表征的能力

内存消耗：所需内存的数量。

存储数据量：该方法需要显式保留多少过去的数据？

任务边界：该方法是否需要明确的任务分工？

预测预言：该方法是否需要知道预测的任务标签？

遗忘量：通过代理指标测量保留了多少信息。

前向迁移：旧任务能加速新概念的学习吗？

后向迁移：新任务是否有益于旧任务？

每一个范式的本质，指出的主要区别

迁移学习：利用源任务的表示来加速学习或改进当前目标任务。

       与CL的区别：两个任务之间的单向知识转移。

       CL：通过功能重用实现向前转移以使未来的任务受益。

多任务学习：通过形成联合假设空间来利用任务的相关性。

与CL的区别：孤立地学习多个任务。

CL：在不断推进多个新任务之前，同时培训多个任务。

在线学习：保留和改进一项任务，其中数据按顺序到达，实时限制需要在线适应。

与CL的区别：通常是随着时间的推移持续学习一项任务，但通常适用于任何其他范式。CL：没有任务边界的快速学习，有限的内存缓冲区重新访问，以及在数据实例以流的形式到达时对新知识进行编码。

开放域学习：模型需要能够识别属于未知任务的不可见数据。

与CL的区别：当前CL通常在封闭世界场景中进行评估。

主动学习：学习者可以询问用户为被认为产生最大知识增益的未标记示例的子集提供标签。

与CL的区别：在CL中很少考虑预定义基准的数据和采样效率。

CL：过滤预期产生大益处的数据实例，以限制计算资源消耗或持续学习中的标记成本。

持续学习扩展到主动数据查询，开放域学习

数据学习顺序问题：连续学习准确性，取决于任务顺序的选择

每次类增量学习，越是不相似的任务，效果越好

旧任务则通过对一些选定的样本进行持续训练来保留。然而，似乎没有共同的协议，这些样本是如何交错。 （没啥说服力）

1将核心集与新任务的数据进行主要的朴素连接

2通过加权采样，采样一个小批量，使它包括在前任务的样本和新任务的数据相等的部分。

3每个类被相等地表示

开放世界学习所需鲁棒性：主动学习--主动避免脏数据污染参数  靠主动学习