AdaLoRA论文概述

最新推荐文章于 2024-08-20 10:38:05 发布
最新推荐文章于 2024-08-20 10:38:05 发布
阅读量1.6k 收藏 26
点赞数 38
文章标签： 大模型 lora Adalora 微调 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq128252/article/details/134843850
版权

AdaLoRA论文概述

AdaLoRA论文概述

前言

预训练语言模型（PLMs）在各种自然语言处理任务中表现出了优越的性能。为了适应下游任务，最常见的方法是对预训练模型的所有参数进行微调（全微调）。然而，预训练模型通常需要大量内存。例如，BERT模型包含多达3亿参数，T5模型包含多达110亿参数，GPT-3模型包含多达1750亿参数。在构建基于这些预训练模型的NLP系统时，通常需要同时处理多个任务。在有大量下游任务的情况下，全微调需要每个任务维护一个大型模型的单独副本，这导致了禁止性的内存消耗。

研究人员提出了两条主要的研究路线，以减少微调参数，同时保持甚至提高plm的性能。具体来说，一条研究路线侧重于在plm中添加小型神经模块，并针对每个任务仅对这些模块进行微调，基本模型保持冻结并在任务之间共享。

另一条路线，在不修改模型架构的情况下，以参数有效的方式对预训练权重的增量更新进行建模，如lora。

摘要

在下游任务上对大型预训练语言模型进行微调已经成为自然语言处理的一个重要范例。然而，通常的做法是对预训练模型中的所有参数进行微调，当存在大量下游任务时，这变得令人望而却步。

因此，提出了许多微调方法，以参数有效的方式学习预训练权值的增量更新，例如低秩增量。这些方法通常在所有预训练的权重矩阵上均匀地分配增量更新预算，而忽略了不同权重参数的不同重要性。

因此，调优性能不是最优的。为了弥补这一差距，我们提出了AdaLoRA算法，该算法根据权重矩阵的重要性评分自适应地在权重矩阵之间分配参数预算。特别是，AdaLoRA以奇异值分解的形式将增量更新参数化。这种新颖的方法使我们能够有效地修剪不重要更新的奇异值，这本质上是为了减少它们的参数预算，但避免了密集的精确SVD计算。

我们在自然语言处理、问答和自然语言生成方面对几个预训练模型进行了大量实验，以验证AdaLoRA的有效性。结果表明，AdaLoRA在基线上表现出显着的改善，特别是在低预算设置下。

论文十问

  1. 论文试图解决什么问题？

论文试图解决预训练语言模型微调时如何高效分配参数预算的问题。

  1. 这是否是一个新的问题？

这是一个新的问题。论文指出现有方法没有考虑不同模块和层的重要性差异,导致参数分配不当。

  1. 这篇文章要验证一个什么科学假设？

论文要验证“动态根据模块重要性分配参数预算可以提高模型性能”的假设。

  1. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

相关研究包括全微调、BitFit、Adapter 微调、LoRA等。其中 LoRA 是当前领域内值得关注的研究员提出的状态研究。

  1. 论文中提到的解决方案之关键是什么？

论文关键解决方案是:基于奇异值分解的参数化方式和根据新设计的重要性指标进行适应性预算分配

  1. 论文中的实验是如何设计的？

实验设计包括在多个数据集和模型上比较 AdaLoRA 与多个 baseline 的性能。

  1. 用于定量评估的数据集是什么？代码有没有开源？

用于评估的数据集有 GLUE、SQuAD 和文本摘要数据集。代码已开源。

  1. 论文中的实验及结果有没有很好地支持需要验证的科学假设？

实验结果很好地支持了 AdaLoRA 在不同预算水平下性能优于其他方法的假设。

  1. 这篇论文到底有什么贡献？

论文的主要贡献是提出 AdaLoRA 方法实现参数高效微调。

  1. 下一步呢？有什么工作可以继续深入？

下一步的工作可以继续探索其他方式动态分配参数预算,或在更多任务上验证 AdaLoRA 的有效性。

奇异值分解

SVD（奇异值分解）是一种矩阵分解方法，用于将矩阵分解为三个部分：左奇异向量矩阵、对角矩阵（包含奇异值）和右奇异向量矩阵。这种方法可以有效地减少矩阵的秩，从而降低计算复杂度和存储需求。在上下文中，SVD被用于调整预训练权重矩阵的增量更新，以便在保持性能的同时降低参数开销。

实验

方法比较

研究方法
  • Full fine-tuning
  • Bitfit
  • Adapter tuning
  • LoRA
  • AdaLoRA
数据集和模型

DeBERTaV3-base

GLUE

在这里插入图片描述

自然语言处理

模型和数据集

DeBERTaV3-base

GLUE

实验结论

daLoRA在所有预算水平下的所有数据集上取得了更好或同等的性能。例如，当参数预算为0.3M时，AdaLoRA在RTE上的准确率达到87.36%，比性能最好的基线提高1.8%。此外，极低预算的AdaLoRA通常比高预算的基线性能更好。

问答

模型和数据集

DeBERTaV3-base

SQuAD v1.1

实验结论

主要的结果。下图总结了我们在四种不同的预算设置下对DeBERTaV3-base进行微调的实验结果:0.08%，0.16%，0.32%和0.65%的预训练参数。从结果来看，我们看到AdaLoRA在所有预算水平下，在两个评估指标(精确匹配(EM)和F1)方面始终优于现有方法。注意，当我们减少参数预算时，Houlsby适配器和Pfeiffer适配器的性能明显下降。相比之下，我们的方法在不同的预算水平下表现出一致的性能。例如，AdaLoRA在SQuADv2.0上实现了88.7%的F1，而最小的预算为0.08%。它接近其在高预算下的表现，也比最佳表现基线高出1.2%。
在这里插入图片描述

自然语言生成

模型和数据集

BART-large

XSum 、 CNN/DailyMail

实验结论

主要的结果。实验结果下图所示，我们比较了四种预算水平下的微调性能:可训练参数的数量分别为预训练参数总数的0.13%、0.26%、1.10%和2.20%。我们看到，在所有预算水平下，AdaLoRA在两个数据集(XSum和CNN/DailyMail)上实现了更好或与基线相当的性能。例如，当预算水平为1.10%时，AdaLoRA的R-2得分为21.13，而LoRA的R-2得分为19.89
在这里插入图片描述

结论

提出了一种参数高效的微调方法:AdaLoRA，根据重要性评分自适应分配参数预算。

在AdaLoRA中，我们以奇异值分解的形式参数化权矩阵的增量更新。

然后，我们根据一个新的重要度量，通过操纵奇异值，在增量矩阵之间动态分配参数预算。该方法有效地提高了模型性能和参数效率。

我们在自然语言处理、问答和自然语言生成任务方面进行了广泛的实验。结果表明，AdaLoRA优于现有的方法

江小皮不皮
关注
大模型参数高效微调技术原理综述 之 LoRA、AdaLoRA、QLoRA
u013250861的博客
08-02 641
随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。因此，该技术值得我们进行深入分析其背后的机理，本系列大体分七篇文章进行讲解。大模型参数高效技术原理综述（一）-背景、参数高效微调简介大模型参数高效微调技术原理综述（二）-BitFit、Prefix Tuning、Prompt Tuning。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
程序员光剑
07-04 1519
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
LoRA、QLoRA与AdaLoRA的低秩适配：如何让AI语言模型瘦身不减智？
m0_59163425的博客
08-02 609
LoRA（Low-Rank Adaptation）是一种通过低秩分解来高效地微调大型语言模型的方法。其基本思路是将模型权重分解为一个低秩矩阵的乘积，从而减少微调所需的参数数量和计算量。通过本文的详细介绍，我们深入探讨了三种用于训练低维模型的方法：LoRA、QLoRA和AdaLoRA。它们分别在减少模型复杂性、降低内存需求和提升适应能力等方面具有显著优势。以下是对这三种方法的总结：方法核心思想关键优势应用场景LoRA低秩分解权重矩阵减少参数数量大型语言模型的快速适应和微调QLoRA。
论文《AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning》浅析
sinat_25045701的博客
07-18 349
AdaLoRA方法有效地解决了现有参数高效微调方法在预算分配上的不足，提高了在资源有限情况下的模型性能，为NLP领域的实际应用提供了新的思路和技术支持。性能表现：AdaLoRA在低预算设置下表现尤为突出，如使用不到0.1%的全参数微调的可训练参数，在SQuAD2.0数据集上实现1.2%的F1提升。优势：相比传统的SVD方法，AdaLoRA避免了昂贵的SVD计算，同时保留了重要信息的恢复能力。贡献：提出了一种新的自适应预算分配方法，提高了参数高效微调的性能，特别是在资源受限的场景下。
大模型AdaLoRA 的介绍
aigchouse的博客
06-08 339
它的思路可以概括如下：通过自适应的低秩适应方法，AdaLoRA能够根据模型的性能和计算需求进行灵活调整，从而进一步减少大型语言模型的计算和存储开销。自适应调整：根据评估的结果，如果模型的性能满足要求，那么适应低秩矩阵可以作为最终模型的参数。如果模型的性能不满足要求，那么可以考虑增加低秩适应的程度，即进一步减少参数量和计算复杂度。低秩适应是一种将参数矩阵分解为较小的矩阵的乘积的方法，从而减少模型的参数量和计算复杂度。初始低秩适应的目的是在不损失太多性能的情况下，尽可能地减少模型的计算需求。
大模型技术实践（四）｜参数高效微调技术解析及AdaLoRA的应用
specssss的博客
09-27 692
在流行的SuperGLUE基准测试中，Prompt Tuning的任务性能与传统的模型调优相当，且随着模型规模的增加，差距逐渐减小。2. 提出了Prompt Ensembling，即通过在同一任务上训练N个提示，也就是在同一个批次中，对同一个问题添加不同的Prompt，相当于为任务创建了N个独立的“模型”，同时仍然共享核心语言建模参数。P-Tuning与全参数效果相当，且在一些任务上优于全参数微调，可以显著提高GPT模型在自然语言理解方面的性能，并且BERT风格的模型也可以获得较小的增益。
大模型高效微调综述下： DiffPruning、BitFit、LoRa、AdaLoRA、MAM Adapters、UniPELT
qq_56591814的博客
06-23 2789
本文介绍了PEFT中Selective Methods的DiffPruning、 BitFit；重参数化方法中的LoRA和AdaLoRA；以及混合方法中的MAM Adapters和UniPELT。分类方法见PEFT综述论文《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》
AdaLoRA Adaptive xxx for Parameter-Efficient Fine-Tuning论文
07-18
#### 概述与背景 在自然语言处理（NLP）领域，预训练语言模型（PLM）的微调已经成为解决下游任务的重要方法之一。然而，传统的做法是在下游任务上微调预训练模型的所有参数，这种方法在面对大量下游任务时变得不再...
大模型微调概览
AI + 工程
10-03 938
微调 和 高效微调 高效微调技术方法概述 高效微调方法一：LoRA 高效微调方法二: Prefix Tuning 高效微调方法三: Prompt Tuning 高效微调方法四: P-Tuning v2 基于强化学习的进阶微调方法 RLHF 训练流程
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
程序员光剑
07-08 1082
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
大语言模型应用指南：从人工智能的起源到大语言模型
程序员光剑
06-27 947
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
大模型算法岗面试题系列（四十八）| AdaLoRA的思路是怎么样的?
最新发布
Code1994的博客
08-20 845
AdaLoRA（Adaptive Low-Rank Adaptation）是对LoRA（Low-Rank Adaptation）方法的进一步改进，旨在提供一种更加灵活和自适应的微调策略。AdaLoRA的核心在于其能够根据模型在特定任务上的表现，自适应地调整低秩矩阵的参数，以优化模型的适应能力。与传统的LoRA方法相比，AdaLoRA在微调过程中引入了动态特性，允许模型根据任务需求自动调整低秩矩阵的大小和结构。AdaLoRA允许在训练过程中动态调整低秩矩阵的秩。
【ICNP2020】AdapLoRa Resource Adaptation for Maximizing Network Lifetime in LoRa networks
qq_44868018的博客
11-26 5374
在之前的论文中，我们分别关注了网络协议的设计以及路由决策问题。而网络部署和网络结构设计对我来说仅停留于概念。考虑这样的工程场景，我需要搭建一个带地面站的机群局域网，怎么搭建？是否有效？是否有水平？可靠性、稳定性如何？再或者，一个成熟的项目具备哪些评价指标，能否被同行认可？这篇文章解决了我的一些问题。
peft代码解读:Prefix Tuning/LoRA/P-Tuning/Prompt Tuning
weixin_36378508的博客
06-28 2563
peft
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
deephub
03-15 7462
LoRA及其相关方法的研究领域是一个非常活跃的研究领域，每天都有新的贡献。本文解释一些方法的核心思想。如果你对这些方法感兴趣请查看论文：作者：Dorian Drost。
大模型微调技术揭秘——LoRA
Whitney66的博客
04-16 1729
受此启发，微软提出了低秩适配（LoRA）方法，设计了特定结构，在涉及矩阵乘法的模块中引入两个低秩矩阵A和B，以模拟完全微调过程。这相当于只对语言模型中起关键作用的低秩本质维度进行更新。
【学习记录】大模型微调方法
LZXCyrus的博客
10-31 2090
本文主要记录部分大模型微调的常用的、主流的方法及其原理。
LLM微调知多少（2）——LoRA及QLoRA微调技术实战
QWYF123的博客
01-15 1466
微调方式篇
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江小皮不皮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值