c_cpp_csharp的专栏

在动态环境中持续学习的能力是强化学习（RL）主体在现实世界中应用的关键要求。尽管在持续强化学习（CRL）方面取得了进展，但现有的方法往往存在知识迁移不足的问题，尤其是在任务多样化的情况下。为了应对这一挑战，我们提出了一个新的框架，即通过大型语言模型（Hi-Core）的分层连续强化学习，旨在促进高级知识的迁移。Hi-Core组织了一个两层结构：通过大型语言模型（LLM）制定高级策略，代表一系列目标，以及与面向目标的RL实践密切一致的低级策略学习，产生代理对所设定目标的响应。

有效和高效地将静态预训练的大型语言模型（LLM）适应不断发展的数据分布的挑战仍然是主要的。当为特定需求量身定制时，经过预训练的LLM在先前的知识领域中经常会出现明显的性能下降，这种现象被称为“灾难性遗忘”。尽管在持续学习（CL）领域进行了广泛的研究，但这个问题在LLMs领域呈现出新的表现形式。在本次调查中，我们全面概述并详细讨论了CL背景下LLMs的当前研究进展。

大型语言模型（LLM）通常在数十亿个token上进行预训练，只有在新数据可用时才能重新开始这个过程。一个更有效的解决方案是不断地预训练这些模型——与重新训练相比，节省了大量的计算量。然而，由新数据引起的分布偏移通常会导致先前数据的性能下降或对新数据的适应性差。在这项工作中，我们表明，学习率（LR）重新升温、LR重新衰减和先前数据重放的简单且可扩展的组合足以匹配在所有可用数据上从头开始完全重新训练的性能，如通过最终损失和几个语言模型（LM）评估基准的平均分数来衡量的。

表征遗忘是指在持续训练过程中，语境化表征的漂移。直观地说，表征遗忘会影响预先训练的语言模型中存储的一般知识，但具体效果尚不清楚。在本文中，我们研究了表示遗忘对预先训练的语言模型的通用性的影响，即处理未来下游任务的潜在能力。具体来说，我们设计了三个度量标准，包括整体一般性破坏（GD）、句法知识遗忘（SynF）和语义知识遗忘（SemF），来衡量一般知识在持续学习中的演变。通过大量的实验，我们发现在各种预先训练的LMs中，普遍性被破坏，句法和语义知识在不断学习中被遗忘。

连续学习（CL）是一种设置，在这种设置中，模型从输入数据流中学习，同时避免忘记先前学习的知识。预训练语言模型已经成功地应用于不同自然语言问题的连续学习中。随着许多持续学习方法和PLM的快速发展，理解和理清它们的相互作用对于持续提高持续学习成绩至关重要。在本文中，我们在2个典型的增量设置中，在3个基准上，彻底比较了5种PLM和4种CL方法组合的持续学习性能。我们广泛的实验分析揭示了PLM和CL方法之间有趣的性能差异。

持续学习（CL）研究通常侧重于解决神经网络中的灾难性遗忘现象。灾难性遗忘与当任务或更广泛地说是数据分布受到变化训练时，模型先前学习的知识突然丢失有关。在监督学习问题中，这种由模型表示的变化引起的遗忘通常是通过评估旧任务性能的下降来测量或观察的。然而，模型的表示可以在不丢失有关先前任务的知识的情况下进行更改。在这项工作中，我们考虑了表示遗忘的概念，通过使用最佳线性分类器在引入新任务之前和之后的性能差异来观察。

任务增量连续学习是指在克服灾难性遗忘（CF）问题的同时，在一系列任务中不断训练模型。这个问题的出现是因为学习新任务时忘记了学习到的表示，并且破坏了决策边界。以往的研究大多考虑如何恢复学习任务的表征。很少考虑将决策边界调整为新的表示，在本文中，我们提出了一种具有自适应分类标准的监督对比学习框架，用于连续学习（SCCL）。在我们的方法中，使用对比损失来直接学习不同任务的表示，并保存有限数量的数据样本作为分类标准。在推理过程中，将保存的数据样本馈送到当前模型中以获得更新的表示，并使用k个最近邻居模块进行分类。