BetterBench的博客

从不同的角度去解决连续学习的五种方法基于回放的方法：近似和恢复旧的数据分布基于架构的方法：使用设计良好的架构构建任务自适应参数构建任务特定的参数基于表示的方法：学习强健且具有良好泛化能力的表示是一种在持续学习中创造和利用表示优势的方法。它包括使用自监督学习和大规模预训练等策略来改进初始化和持续学习中的表示。该方法通过构建和利用表示来解决持续学习中的挑战，例如遗忘和表示偏移。通过使用自监督学习和预训练，可以获得更稳健的表示，并在新任务中保持泛化能力。

论文探讨了如何将生物学上更可信的机制，例如突触可塑性、神经调节、突触后电位、神经发生和胶质细胞的作用，整合到ANNs中以提升网络的性能。这些机制的整合旨在模拟生物大脑的学习过程，从而带来潜在的优势和挑战，这也是论文深入探讨的重点。

这篇综述性论文探讨了神经网络在终身学习（lifelong learning）领域的研究进展。论文分为三个部分，第一个部分是基本概念。第二部分是连续学习的方法分类及基准介绍，第三部分是对于未来研究方向的探讨。生物学启发的终身学习相关概念稳定性-可塑性困境（Stability–Plasticity Dilemma）

这篇论文探讨了机器学习的“反学习”（machine unlearning）问题，即数据所有者希望从已训练好的模型中移除特定样本的影响。现有的方法在移除数据影响和保留模型效用之间难以找到最佳平衡，通常会导致显著的模型效用下降，称为灾难性反学习（catastrophic unlearning）。

本文提出了一个整合的视角，将持续学习、主动学习（active learning）和开放集识别（open set recognition）结合起来。提出了一个基于极端值理论（Extreme Value Theory, EVT）的元识别方法的的统一框架，该框架可以在持续学习中保护知识、在主动学习中进行有原则的数据查询，并在任何时候拒绝或搁置未知未知数据。文中强调从开放集识别中学习到的识别未知样本的教训，以及主动学习中为了最大化预期性能增益而查询数据的方法，这些在深度学习时代经常被忽视。

本文探讨生物系统终身学习的能力，并尝试理解这些能力背后的生物学机制。作者们回顾了在机器学习领域中，如何通过模仿这些生物学机制来开发能够终身学习的人工智能系统。这些系统被称为终身学习机器（Lifelong Learning Machines, L2M），它们能够像生物体一样不断地从经验中学习并适应新环境，同时保留以前学到的知识。神经科学家和其他生物学家提出了一些机制来解释这种能力，机器学习研究人员已经尝试在人工系统中模仿这些机制，并取得了不同程度的成功。

提出神经调节辅助信用分配（Neuromodulation-Assisted Credit Assignment, NACA）的算法，解决人工神经网络（ANNs）和脉冲神经网络（SNNs）在学习过程中的灾难性遗忘问题，并有较低的计算成本。NACA算法利用期望信号来诱导特定水平的神经调节物质选择性地作用于突触，从而非线性地修改长期突触增强（LTP）和长期突触抑制（LTD）。这种算法在空间和时间分类任务的学习中实现了高识别准确率，并且显著降低了计算成本。特别是在连续学习任务中，NACA算法在不同复杂度的五个不同

鉴于模型容量有限而新信息无限，知识需要被选择性地保留或抹去。提出了一种新的方法，称为“记忆感知突触”（Memory Aware Synapses, MAS），该算法不仅以在线方式计算网络参数的重要性，而且以无监督的方式适应网络测试的数据。当学习新任务时，对重要参数的更改可以受到惩罚，有效防止与以前任务相关的知识被覆盖。构建了一个能够适应权重重要性的持续系统，以系统需要记住的内容。我们的方法需要恒定的内存量，并具有我们上面列出的主要期望的终身学习特性，同时实现了最先进的性能。

提出了一种新颖的双网络记忆模型，解决灾难性遗忘问题，该模型由两个不同的神经网络组成：海马网络和新皮层网络。信息首先存储在海马网络中，然后转移到新皮层网络。海马网络引入了海马CA3区的神经元混沌行为和齿状回区的神经元更替。CA3区的混沌回忆能够检索海马网络中存储的信息。之后，从海马网络检索出的信息与之前存储的信息交错，并使用伪模式在新皮层网络中进行巩固。

提出一种名为 FearNet 的新型神经网络模型，这个模型受到大脑记忆机制的启发，用于解决增量学习中的灾难性遗忘问题。FearNet 模型不存储先前的例子，使其具有内存效率。它使用一个由大脑启发的双记忆系统，新记忆从受海马体复合体启发的网络巩固到受内侧前额叶皮层启发的长期存储网络。记忆巩固的灵感来自于睡眠期间发生的过程。FearNet 还使用一个受基底外侧杏仁核启发的模块来确定在回忆时使用哪个记忆系统。

关于少量样本增量学习（Few-shot Class-Incremental Learning, FSCIL）的综述。FSCIL面临的主要挑战包括灾难性遗忘（Catastrophic Forgetting）和过拟合（Overfitting），这些问题严重影响了模型性能。研究FSCIL有助于克服深度学习模型在数据量和获取时间上的限制，提高机器学习模型的实用性和适应性。从理论角度，将FSCIL领域分为五个子类别，包括传统机器学习方法、基于元学习的方法、基于特征和特征空间的方法、重放方法和动态网络结构方法。定义了

本文提出了一种新的卷积神经网络（CNN）结构学习方法。是一种顺序模型优化（Sequential Model-Based Optimization, SMBO）策略，通过逐步增加模型复杂度来搜索结构，并同时学习一个替代模型（surrogate model）来指导搜索过程。与直接搜索完整CNN结构的方法不同，本文方法首先搜索一个好的卷积“单元”（cell），然后根据训练集大小和期望的运行时间，将这个单元堆叠多次形成最终的CNN。从简单的模型开始，逐步过渡到复杂的模型，并在此过程中剪枝掉没有前景的结构。为了减少训

本文提出了一种基于任务的硬注意力机制（Hard Attention to the Task, HAT），通过学习几乎二值的注意力向量来保持先前任务的信息，同时不影响当前任务的学习。通过门控任务嵌入学习硬注意力掩码，这些掩码定义了网络权重的更新约束。利用先前任务的注意力向量来调整梯度，保护先前任务中重要的权重。通过调整超参数，控制学习知识的稳定性和紧凑性，使得方法适用于不同的应用场景。实验结果显示，HAT在不同的实验设置中都能显著降低遗忘率。HAT机制还提供了监控网络行为的能力，例如评估网络容量使用情况和权重

提出了一种动态可扩展网络网络（Dynamically Expandable Network，DEN）DEN是一种有效的终身学习深度神经网络，能够在学习新任务的同时保持对旧任务的记忆，并且能够动态地调整自身的网络容量以适应新知识。DEN可以根据新任务的需求，通过增加或分裂/复制单元并进行时间戳标记来动态扩展网络容量。当现有网络不足以解释新任务时，DEN能够动态地增加网络容量，仅添加必要的单元数量。通过单元分裂/复制和时间戳标记，DEN有效防止了语义漂移（semantic drift），即网络在训练过程中逐渐偏

本文提出了任务条件的超网络（元模型网络）作为一种适用于持续学习的神经网络模型，它通过使用使用一个较小的超网络来生成目标网络的权重，然后再结合限制权重更新的正则化方法（如EWC、SI、MAS）来实现连续学习。超网络是基于任务身份来生成权重，在这种学习模式下，任务是顺序呈现的，目标是在学习新任务的同时，保留或提升在先前任务上的性能，同时利用已获得的知识。然后加上连续学习中权重更新的正则化技术，使得超网络在生成权重时能够保留之前任务的学习成果。

在持续学习领域，Task incremental、Domain incremental、Class incremental 是三种主要的学习模式，它们分别关注不同类型的任务序列和数据分布变化。

作者提出了一种名为“Learning without Forgetting”（LwF）的方法。利用知识蒸馏损失来保持旧任务的输出，这是一种创新的损失函数应用，与传统的参数正则化方法相比，能够更直接地保留旧任务的知识。这种方法使用新任务数据来训练网络，同时保留原始功能。LwF的表现优于常用的特征提取和微调适应技术。

RWalk算法是一种增量学习框架，它通过结合EWC++（Elastic Weight Consolidation的高效版本）和修改版的Path Integral（PI）算法，改进的PI算法是使用KL散度。本文讨论了不同的采样策略，以存储先前任务数据集的一小部分代表性子集，这有助于网络回忆先前任务的信息，并学习区分当前和先前的任务。RWalk在MNIST和CIFAR-100数据集上的实验结果表明，在准确性方面取得了优越的结果，并且在遗忘和固执之间提供了更好的权衡。

本文提出了一种受神经发生动态启发的脉冲神经网络（SNN）训练加速框架，称为NDSNN，NDSNN框架通过动态稀疏性从头开始训练模型，而不牺牲模型保真度，是一种新的减少非零权重数量的丢弃和生长策略，动态地减少SNN稀疏训练中的神经元连接数量，实现保证准确率的同时，实现较大的稀疏性，减少训练内存占用并提高训练效率。实验结果表明，与其它最先进方法（例如彩票假设LTH、SET-SNN、RigL-SNN）相比，NDSNN在Tiny-ImageNet上使用ResNet-19（稀疏度为99%）实现了高达20.52%的准确

提出了一种名为“Progressive learning”的深度学习框架，解决持续学习问题。Progressive learning 框架包含三个主要步骤，分别是Curriculum（课程）、Progression（渐进）和Pruning（剪枝）。课程是指主动从一组候选任务中选择一个任务进行学习。渐进是指通过添加新参数来增加模型的容量，这些新参数利用之前任务中学习到的参数，同时学习当前新任务的数据，而不会受到灾难性遗忘的影响。剪枝是指用来抵消随着学习更多任务而增加的参数数量，同时减轻不相关的先前知识可能对当

提出了一种名为 NICE（Neurogenesis Inspired Contextual Encoding）的新型深度神经网络架构，旨在解决动态环境中的增量学习问题，特别是类别增量学习（Class-Incremental Learning, CIL）场景。NICE 方法的关键特点包括三个，分别是神经元成熟阶段、避免神经元间的干扰和上下文检测器。其中神经元成熟阶段，NICE 将网络中的神经元分配为不同的“年龄”，反映它们的成熟水平。避免神经元间的干扰，通过冻结和剪枝操作，确保成熟神经元不会因新数据而改变。

（1）连续学习概念连续学习（Continual Learning）是一种机器学习范式，它模拟人类和动物学习新知识时能够不断积累经验而不遗忘旧知识的能力。在连续学习中，模型需要能够在接收新任务或新数据的同时，保持对先前任务的良好性能，避免灾难性遗忘（即在学习新任务时对旧任务的表现急剧下降）。连续学习的关键挑战之一是如何使模型在面对不断变化的任务时能够有效地适应并持续改进。（2）数据集介绍。