Raki_J的博客

l1​WSN联合学习与每个任务相关联的子网络相关的模型权重和任务自适应二进制掩码，同时尝试通过重用之前子网络的权重来选择要激活的一小组权重（获胜票），每张中奖彩票产生的二进制掩码被编码为一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以实现网络容量相对于任务数量的亚线性增长与图1a基于修剪的CL方法不同，该方法在预先训练的主干网络中获得特定于任务的子网络，我们。为了在模型学习新任务时允许前向转移，我们将学习到的，但有选择地，而不是使用所有权重（图1b），这可能会导致有偏的转移。

中增加相同数量的新连接，保持每层的密度，新的连接是随机选择的，只要它们不形成稳定单元的新输入，这保证了连接增长不会破坏稳定单元学习的表示。单元的总激活是否是其对学习任务的贡献的有效指标，观察到移除最活跃的单元比移除相同数量的随机选择单元更会降低性能。在两个任务之间的边界处，它将连接冻结到新的稳定单元中以稳定这些单元，即它不允许相应的权重在该点之后发生变化。在任务边界上，候选稳定单元被提升为稳定单元，稳定单元之间的连接被冻结，然后我们重新初始化剩余的连接。因此可塑单元的功能的未来变化不会传播到稳定单元。

batch CL每个task的数据可以训练任意个epoch，但是online CL每个任务的数据都是以流的形式逐渐出现的，只要积累了一小批训练样本，就可以进行学习inter-task CF指的是学到后面的任务忘了前面的任务intra-task CF指的是一个任务内，学到后面的batch忘掉了前面batch的知识因为online CL每个样本只看到一次，所以只有OCL才会intra-task CF。

当重用之前的state信息的时候，保持他们的位置信息也是非常重要的，如果依旧使用绝对位置编码，会出现两个segment用了同样的位置的情况，但实际上却差了一个segment的长度，这样会使模型无法区分他们的位置信息。最大可能的依赖是图b的面积下的点，与截断的BPTT不同的是，这里的方法缓存了一连串的隐状态，而不是最后一个，因此应该与相对位置编码技术一起应用。在训练过程中，为前一个片段计算的隐藏状态序列是固定的，并在模型处理下一个新片段时作为扩展上下文被重新使用。Transformer-XL的总公式。

此工作提出了一个NLP持续学习新范式

来自UIC的2022最新NLP持续学习综述，第一次总结了各种任务范式

Abstract & Introduction & Related Work研究任务通用持续学习已有方法和相关工作面临挑战忽略了实际场景的特性，即数据流不能被塑造为任务序列，而且离线训练也不可行我们致力于实现一般持续学习（GCL），在这种情况下，任务边界模糊，领域和类别分布逐渐或突然转变。我们通过将重现与知识蒸馏和正则化相混合来解决这个问题；我们简单的baseline，即黑暗经验重放，与整个优化轨迹中采样的网络对数相匹配，从而促进与它的过去的一致性创新思路依靠黑暗知

Abstract & Introduction & Related Work研究任务持续学习已有方法和相关工作面临挑战创新思路部署了一个外显记忆单元，为每个任务存储一个子储存每个任务的子样本集，以学习特定任务的 基于核岭回归的分类器不需要记忆重放，而且系统性地避免了分类器的任务干扰我们进一步引入变分随机特征，来为每个任务学习一个数据驱动的内核，为此，我们将核持续学习表述为一个变分推理问题，其中随机傅里叶基被纳入为隐变量实验结论随机傅里叶基础上的变分后验分布是从每

Abstract & Introduction & Related Work研究任务持续学习已有方法和相关工作面临挑战虽然无监督和元训练在简单的数据集如MNIST和Omniglot上显示出比较好的结果，但它们缺乏对现实世界基准的扩展性。相比之下，我们的DualNet将表征学习解耦到慢速学习器中，通过与监督学习阶段的同步训练，在实践中是可以扩展的。此外，我们的工作将自我监督的表征学习纳入持续的学习过程中，不需要任何预训练步骤创新思路提出了DualNet，其中包括一个快速

Abstract & Introduction & Related Work研究任务持续学习（lifelong learning）已有方法和相关工作LAMOLComponent Freezing：虽然组件冻结也是微调过程中的一种常见做法，但它是为了防止模型低层的常识损失，相比之下，许多基于架构的LL方法，例如Rusu等人（2016），利用组件冻结来防止改变从以前的任务中学到的知识，并扩大模型以适应新的任务，从而使模型对遗忘免疫，我们的模型与基于架构的方法不同，只有一小部分模型被

Abstract & Introduction & Related Work研究任务lifelong learning已有方法和相关工作面临挑战现有方法大多基于图片或者游戏，而不是语言创新思路提出了一种基于语言模型的lifelong learning方法重现以前任务的伪样本，同时不需要额外的内存或模型容量实验结论结果显示，LAMOL可以防止灾难性遗忘，而没有任何不妥协的迹象，并且只用一个模型就可以连续完成五种非常不同的语言任务sota此外，我们建议在伪

Abstract & Introduction & Related Work研究任务aspect sentiment classification in domain incremental learning对比持续学习已有方法和相关工作完善的只是新任务的学习，他们并没有处理灾难性遗忘的问题，每个任务使用一个单独的网络。基于胶囊网络面临挑战创新思路第一次在ASC领域探索持续学习结合了对比学习现有的对比学习使用现有数据（如图像）的各种转换（如旋转和裁剪）来

Abstract & Introduction & Related Work研究任务文本分类持续学习已有方法和相关工作基于回放的模型基于正则化的模型面临挑战创新思路我们提出的方法首先将文本隐藏空间分解为所有任务的通用表示和每个单独任务的特定表示，并进一步以不同的方式对这些表示进行调整，以更好地约束概括所需的知识我们还介绍了两个简单的辅助任务：下一句预测和任务id预测，用于学习更好的泛型和特定表示空间实验结论sota把信息分解成一般信息和任务特定

Abstract & Introduction & Related Work研究任务持续学习已有方法和相关工作面临挑战计算复杂度太高创新思路在一个数据集中，每个数据的重要性是不一样的，数据的质量直接影响模型的有效性和效率，为了处理这个问题，提出Online Coreset Selection，一种简单而有效的方法，在每次迭代中选择最具代表性和信息量的核心集，并以在线方式对其进行训练实验结论我们提出的方法最大限度地提高了模型对当前数据集的适应性，同时选择

Abstract & Introduction & Related Work研究任务已有方法和相关工作面临挑战创新思路当用协同任务训练时，某项任务的泛化误差可以提高，但用竞争性任务训练时，泛化误差也会恶化。这一理论促使我们采用了名为Model Zoo的方法，该方法受到boosting文献的启发，发展了一个小型模型的集合，每个模型都在持续学习的过程中被训练实验结论我们描述了什么情况下可以用一个模型学习多个任务，同样，什么情况下这样做不利于某个特定任务的准确性上述分析表明，一

Abstract & Introduction & Related Work研究任务持续学习已有方法和相关工作面临挑战现有的工作主要是建立在一个包含少数原始数据的小的内存缓冲区上，这不能完全描述旧的数据分布现有的工作往往需要训练额外的参数或者蒸馏旧的特征创新思路在这项工作中，我们提出了带有数据压缩的内存重放，以减少旧训练样本的存储成本，从而增加它们可以存储在内存缓冲区的数量我们提出了一种基于决定性点过程（DPPs）的新方法，以有效地确定当前到达的训练样本的适当压缩

Abstract & Introduction & Related Work研究任务持续学习已有方法和相关工作CLS理论认为，高效的学习需要两个互补的学习系统：海马体表现出短期适应性和对偶发信息的快速学习，然后逐渐巩固到新皮层，以便缓慢地学习结构化信息许多现有的方法只注重直接对前额叶皮层进行建模，而没有快速学习网络，而快速学习网络在实现大脑中的高效CL方面起着关键作用面临挑战在深度神经网络（DNNs）中实现CL的主要挑战是，从非稳态数据分布中不断获取增量信息通常会导致灾

Abstract & Introduction & Related Work研究任务已有方法和相关工作Incremental Learning (IL) methods，目标在于从无限数据流中训练一个单个深度神经网络对使用扩展网络结构的参数隔离方法进行研究考虑一个固定大小的模型参数集，修剪学习一个新的任务在推理过程中不需要知道任务标签，就可以保留以前的类的知识基于经验的回放方法，它存储了过去的实际数据样本Model GrowingMemory ReplayRegula

Abstract & Introduction & Related Work研究任务已有方法和相关工作Few-shot and incremental learningLearning class representationsLearning with side information from language面临挑战创新思路这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息