模型如何“天天向上”？大语言模型持续学习综述

最新推荐文章于 2024-07-11 19:08:48 发布

程序员笑武

最新推荐文章于 2024-07-11 19:08:48 发布

阅读量1.1k

点赞数 20

文章标签：语言模型学习人工智能智能手机机器学习深度学习 AIGC

本文链接：https://blog.csdn.net/m0_59164304/article/details/139663732

版权

近期，基础语言模型（Foundation LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著的进展。这些模型通过在大规模无监督数据集上预训练，不仅掌握了丰富的知识，还展示了良好的迁移学习能力。然而，这些模型无法像人类那样“天天向上”，存在着灾难性遗忘问题。为了确保模型在适应新任务时保留已有知识的同时学习新知识，研究者们提出了一系列基于持续学习（Contiual Learning, CL）的方式。本研究深入探讨并总结了适用于基础语言模型的持续学习方法，包括预训练语言模型（PLMs）、大型语言模型（LLMs）以及视觉-语言模型（VLMs）。我们将这些方法分为离线持续学习和在线持续学习两大类，涵盖传统方法（基于正则、回放、参数隔离等方法）、基于参数高效微调的方法、基于指令微调的方法及持续预训练方法。离线持续学习包括领域增量学习、任务增量学习和类增量学习；在线持续学习则分为硬任务边界和模糊任务边界的设置。此外，本研究还概述了在持续学习研究中常用的数据集和评估标准，并详细讨论了基于基础语言模型的持续学习所面临的挑战及未来的研究方向。

本文主要有以下几个贡献：

01# 我们对基于基础语言模型的持续学习方法进行了全面回顾，这些方法将基础语言模型与持续学习融合起来，以学习新知识而无需从头训练模型。这与传统的持续学习有很大的不同，基础语言模型具有巨大的参数量，在迁移学习、零样本学习和指令遵循方面表现出很好的能力。

02# 我们给出了不同任务设定的定义，并将现有研究进行分类，以更好地理解这一领域的发展。除了传统方法如重放、正则化和参数隔离的算法外，我们还总结了从预训练、参数高效微调和指令微调等角度进行持续学习的相关方法研究。

03# 我们分析了超过40个现有的持续学习数据集，并介绍了评估防止遗忘和知识迁移性能的主要指标。

04# 我们讨论了基于基础语言模型的持续学习面临的挑战，并指出了这一领域未来研究方向。

论文链接：https://arxiv.org/abs/2405.18653

Github链接：https://github.com/ECNU-ICALK/Foundation-LMs-based-Continual-Learning

绪论

基础语言模型（Foundation LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著进展，并分为预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉-语言模型（VLMs）。尽管这些模型在特定任务中表现优异，但在动态环境中表现出固有的局限性，如灾难性遗忘，即学习新信息时丢失旧知识。持续学习（CL）应运而生，旨在使模型能够不断学习新知识而不忘记旧信息，模仿人类学习方式。此领域尤其重视跨任务知识迁移和防止灾难性遗忘。最新的持续学习技术不仅提升了模型的适应性和知识保持能力，还探索了如提示调整和适配器等参数高效微调方法，以在不需要从头训练的情况下更新模型。

和传统持续学习的区别

第一、基础语言模型由于在大规模数据集上进行了预训练，在处理多样化任务时表现出了卓越的泛化和迁移学习能力。这些模型能够迅速适应少样本学习任务。因此，减轻语言模型在零样本迁移和历史任务性能退化的同时，促进新技能的获得显得尤为关键。

第二、鉴于基础语言模型拥有众多参数，采用如提示调整和适配器等参数高效技术进行参数更新，而无需进行全量微调，变得至关重要。

第三，基础语言模型具有指令学习能力，具有更好的动态交互和指令遵循能力。这些因素共同推动了持续学习技术从传统方法向融合基础语言模型的策略转变。

图1: 基于基础大模型的持续学习和传统持续学习的区别

在持续学习中，模型会按顺序在一系列不同的任务上进行训练，每个任务都有自己的数据集。这些任务是独一无二的，具有不同的数据分布，这给学习新信息的同时保留以前的知识带来了挑战。本文将持续学习方法分为两个核心领域：离线持续学习和在线持续学习。

01# 离线持续学习：这种范式涉及在一系列任务中进行学习。当一个任务到达时，该任务的所有训练数据都已经可用，并且训练可以进行任意次数的迭代。它包括三个场景：

域增量学习（DIL）：跨任务的数据分布会变化，但任务类型和类标签保持不变，不需要任务ID（task-IDs）。

任务增量学习（TIL）：每个任务都有独特的目标，其类集可能不相交。任务边界定义明确，提供任务ID。

类增量学习（CIL）：模型逐步学习新的类信息，同时保持对以前类的知识。任务类型保持一致，但类集不同，任务ID仅在训练期间提供。

图2: 离线持续学习任务设定

02# 在线持续学习：这种范式反映了现实世界中的连续数据流场景。训练数据以数据流的形式到达，每当累积了一小批数据时，就会进行一次迭代训练。因此，在线持续学习需要在一个周期内完成训练。它包括两个场景：

硬任务边界：任务结构化且顺序性强，任务之间的数据不重叠。

模糊任务边界：任务之间的区别不清楚，不同任务的数据混合在一起，模仿更自然的现实世界数据增长模式。

图3: 在线持续学习任务设定

持续学习方法分类

本文将持续学习方法进一步细分为基于预训练语言模型（PLMs）、大语言模型（LLMs）和视觉语言模型（VLMs）的方法，如图4所示。在论文正文部分，我们在前述划分的基础上，按照方法类型（传统方法、持续预训练方法、参数高效微调方法和基于指令微调的方法）对学习策略进行了详细的分类讨论。

图4: 基于基础语言模型的持续学习分类

数据集

本文整理了持续学习中的常用数据集，如表1所示。这些数据集首先被分为离线（offline）和在线（online）两类。随后，根据不同的持续学习设置，如任务增量学习（TIL）、领域增量学习（DIL）和类别增量学习（CIL），进行进一步分类。详细记录了每个数据集的训练、验证、测试样本数及总样本数。此外，还描述了每个数据集处理的NLP问题，例如情感分析、对话生成和推荐系统。这些数据为研究者在持续学习领域的任务选择和研究提供了参考。

表1: 持续学习数据集统计

评价指标

首先，我们定义了模型在学习和评估阶段中使用的符号，如图所示。当模型完成一个学习任务，标记为，随后会在包含全部个任务的测试集上评估其性能，这里的是任务集中的总任务数。此评估通过一个矩阵来表示，矩阵中的每个元素指示模型在处理完任务的最后一个样本后，在任务上的测试分类准确率。

图5: 计算指标

在持续学习的领域中，研究者已经开发出多种度量标准来从不同角度评估模型的性能，涵盖了记忆稳定性、学习可塑性和在线适应性等关键方面。记忆稳定性主要通过后向迁移（BWT）和遗忘度量（FM）这样的指标来评估，这些指标专注于衡量模型在面对新任务时对已学习信息的保持能力。学习可塑性则通过前向迁移（FWT）和顽固度量（IM）等指标来评定，这些指标用于评估模型如何有效地利用之前的学习成果来提升对新任务的处理表现。此外，还引入了专门针对持续预训练（如FUAR）和在线持续学习（如NFA）的新度量标准。FUAR用于衡量在获取新知识的同时遗忘旧知识的比例，而NFA则评估模型在稍微未来的样本上的预测能力，以此来减少标签相关性带来的影响。这些度量标准构成了一个全面的框架，旨在深入分析持续学习模型的表现，帮助优化模型在不断变化的环境中的学习策略和适应能力。

挑战和未来工作

01# 自主持续学习：大多数现有的持续学习研究假设数据集是静态且分布已知的，并在相对封闭的环境中进行，主要集中于简单任务（如文本分类、情感分析和意图分类）且具有明确标签。然而，这些假设在现实应用中并不成立，现实环境不断演变并引入新的刺激。研发能够在复杂、嘈杂环境中有效运行且任务领域频繁变化的持续学习模型是一个关键挑战。Liu等人提出的SOLA框架促进了人工智能系统的自主适应，尽管取得了一定进展，但使这些系统在没有持续人工监督的情况下独立适应动态环境仍面临重大挑战。未来研究应重点开发能够自主检测和适应数据分布变化的算法，以提高人工智能在动态现实场景中的适用性。

02# 从对话中学习知识：传统的人工智能系统通常在静态数据集上训练，与人类通过互动动态更新知识的学习方式形成鲜明对比。人工智能的挑战在于从静态学习转向动态对话互动。未来的发展方向可能包括开发模仿人类对话学习的模型，能够在持续互动中进行上下文适应、新概念推理和动态知识应用。

03# 多模态持续学习：持续学习研究主要集中在自然语言处理任务上，如情感分析和文本分类。近期研究开始探索基础的多模态任务，如文本到图像检索、文本图像分类和视觉问答。整合文本、视觉和听觉等多种数据类型是一个巨大挑战。未来研究应扩展到更复杂的多模态数据集，并制定有效融合不同模态的方法，以增强模型在不同感官输入下的持续学习能力。

04# 持续学习中的隐私保护：在持续学习系统中，隐私保护是一个重大挑战，因为这些系统需要不断更新和改进模型，并处理不同时间和上下文中的敏感数据。相比传统静态机器学习模型，持续学习系统更容易引发数据机密性和用户隐私问题。因此，需要在系统架构中集成有效的隐私保护机制，防止个人数据的无意暴露或滥用。差分隐私、联邦学习和安全多方计算等技术提供了有前景的解决方案，使模型能够从分散的数据源中学习，而无需直接访问实际数据。未来的持续学习研究应不仅关注提高学习效率和适应性，还应优先研发保护用户隐私的稳健框架。

05# 鲁棒的持续学习：现有研究主要致力于通过各种度量标准改进模型的遗忘和迁移性能，但对持续学习系统的鲁棒性研究不足。在安全性和可靠性至关重要的应用中，这尤为关键。主要挑战包括评估系统在对抗性攻击或急剧环境变化下的鲁棒性。未来研究应聚焦于开发鲁棒性评估指标，并设计能在环境变化中保持性能稳定的系统。

06# 大规模和高质量的数据集及基准测试：现有数据集多通过合并构建，常导致缺乏多样性和真实世界复杂性，影响了持续学习模型的稳健性和适应性。创建反映真实复杂性的大规模高质量数据集是关键挑战。未来，开发此类数据集和基准测试对于评估算法有效性和推动实际应用中的成就至关重要。

关于ICALK

ICALK (Language cognition and Knowledge computing at the Institute of Computer Applications)是华东师大计算机学院“语言认知与知识计算”团队，主要聚焦认知理论和方法，突破语言理解、知识生成与因果推理相关理论，研究类人阅读、思考与对话生成相关的NLP技术和知识库构建等关键技术，通过“知识理解力的增强”来提升应用智能，相关研究成果已成功在教育、健康、科技、JS、金融、城市管理等领域中成功落地。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述