Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP

已于 2023-06-05 19:26:40 修改
阅读量1.5k 收藏 13
点赞数 10
分类专栏： Diffusion Models与深度学习 深度学习-计算机视觉 文章标签： 深度学习 人工智能 diffusion model 计算机视觉 自然语言处理
于 2023-06-04 22:30:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/130995366
版权
本文深入解析Adapter Tuning技术，探讨在大模型微调中如何有效地使用少量参数达到与全模型微调相当的效果。Adapter结构通过插入到Transformer层中，减少资源消耗，同时保持良好性能。实验表明，Adapter调优在减少两个数量级的训练参数下，性能与全微调相当。此外，文章还提供了论文链接和代码解读。
摘要由CSDN通过智能技术生成

Diffusion Models专栏文章汇总：入门与实战

前言：大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所启发。

目录

方法详解

Adapter结构

实验效果

论文和代码

代码解读

个人感悟

参考

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型参数高效微调技术 BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、Adapter Tuning、LoRA 等基础知识
程序员光剑
06-15 1万+
以上介绍了6种基于大模型参数高效微调技术： BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、Adapter Tuning、LoRA，每种技术都有各自独特的优点和适用范围。这些技术为我们提供了一种高效的方式来处理大型神经网络模型。在未来，这些技术将继续得到改进和发展，使得它们能够更好地满足各种应用领域的需求。
Parameter-Efficient Transfer Learning for NLP
Young, Simple, Naive
01-22 2298
对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning
最新发布
2401_85328934的博客
07-08 1191
（1） Fine-Tuning（标准微调）优点：简单易用：直接在预训练模型上进行微调。适应性强：可以针对特定任务调整整个模型的参数。效果显著：通常能显著提高模型在特定任务上的表现。缺点：计算成本高：需要调整模型的大量参数。数据需求较高：为了有效微调，通常需要较多的标注数据。适用场景：当有足够的标注数据和计算资源时，适用于大多数NLP任务。优点：参数高效：只修改或优化模型的一小部分参数。节省计算资源：比完全微调需要的资源少。
【论文笔记】Parameter-Effificient Transfer Learning for NLP
Yulki的博客
06-20 1284
克服微调训练不高效的问题，增加一些adapter模块，思想就是固定原始的网络中的参数，针对任务增加一些可以训练的参数，新任务无需重新访问以前的任务，产生高度的参数共享。与完全微调相比，仅仅增加了3.6%的参数，就接近了SOTA的结果。
Paramenter-Efficient Transfer Learning for NLP
from top to bottom
08-02 677
由于微调大的预训练模型很贵，且对不同的任务都需要进行针对性的微调。本文提出了适配器模块的迁移，相比微调需要优化100%的参数，适配器冻结了原始预训练模型的参数，加入了新的适配器模块，且只需要优化3%左右的参数就可以达到和微调相似的性能。.........
[论文阅读72]Parameter-Efficient Transfer Learning for NLP
ld326的专栏
05-23 855
提出了与transformer相结合的adapter模型，可以在训练少参数的情况下达到全调的效果。想法很不错，效果也是比较好的。
Parameter-Efficient Transfer Learning for NLP 迁移学习+BERT1
08-03
Parameter-Efficient Transfer Learning for NLP 迁移学习+BERT1
【论文解读】Parameter-Efficient Transfer Learning for NLP
weixin_50862344的博客
10-20 1909
以Adapter类为例，在初始化函数中我们可以看到Adapter实际上就是一个（LayerNorm）+ 线性层/PHMLayer + 激活函数。在AdapterLayer类中的add_adapter函数，往每一层中添加了Adapter或者是ParallelAdapter。通过add_adapter调用模型父类ModelAdaptersMixin的add_adapter方法实现增加adapter。3.1.1 _add_adapter_weights函数。
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
weixin_43646592的博客
07-31 1455
LLM微调 | Adapter: Parameter-Efficient Transfer Learning for NLP
Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey
mingo_敏
04-11 1236
大型模型在多个领域取得了显著进展，但它们的大规模参数带来了高昂的计算成本。这些模型需要大量资源来执行，尤其是在针对特定任务进行定制时。参数有效微调（PEFT）提供了一种解决方案，它通过调整预训练模型的参数来适应特定任务，同时尽量减少额外的参数和计算资源消耗。本文对PEFT算法进行了全面研究，评估了它们的性能和计算成本，并探讨了使用这些算法的应用程序。同时，本文也讨论了降低PEFT成本的常用技术，并研究了不同系统设计中的实施成本。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
热门推荐
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
适配器微调（Adapter tuning）
2301_77818837的博客
01-03 3195
如图 2所示， (Neil Houlsby, 2019)给出了Adaptor tuning与传统迁移学习（调整靠近输出的几层）在调整同等数量的参数的情况下，模型性能的差别。在训练过程中，一般只调整图 4中绿色的部分，包括适配器的下投影前馈层、上投影前馈层、非线性层以及Transformer模块中的两个归一层的参数。最后，设置好训练参数，即可通过adapters包的AdapterTrainer类进行训练了，再调用trainer的save_model方法即可把训练好的适配器（不包括基础模型）保存在本地。
论文阅读之Parameter-Efficient Transfer Learning for NLP（2019）
学习笔记
05-04 855
微调大型预训练模型是NLP中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率低下的：每个任务都需要一个全新的模型。作为替代方案，我们建议使用适配器模块进行传输。适配器模块产生了一个紧凑且可扩展的模型；它们只为每个任务添加几个可训练的参数，并且可以添加新任务，而无需重新访问以前的任务。原始网络的参数保持固定，从而产生高度的参数共享。为了证明适配器的有效性，我们将最近提出的BERT Transformer模型转移到26个不同的文本分类任务中，包括GLUE基准。
大模型高效微调综述上：Adapter Tuning、AdaMix、PET、Prefix-Tuning、Prompt Tuning、P-tuning、P-tuning v2
qq_56591814的博客
06-21 5804
PEFT高效参数微调）方法可以通过多种方式进行分类，本文介绍了第一大类 additive中的常见方法。
大模型-DeltaTuning-增量式01：Adapter-tuning（0.5-8%）【每个transformer层内加入2个Adapter层】【Adapter就是先降维再升维的全连接】
u013250861的博客
06-09 397
随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时，Adapter 的出现缓解了这个问题。Adapter在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，减少训练时算力开销。2019年，Houlsby N等人将Adapter引入NLP领域，作为全模型微调的一种替代方案。Adapter主体架构下图所示。
大模型适配器微调（Adapter-tuning）的特点
aigchouse的博客
06-08 400
以下是一些需要适配器微调的情况：总而言之，适配器微调是一种用于微调预训练模型的方法，它可以保留预训练模型的知识，减少计算量和时间，提高模型的可解释性和可复用性，并避免灾难性遗忘。适配器微调可以实现这一目标，它只微调模型的适配器层，而不改变预训练模型的参数。通过在适配器层中添加任务特定的适配器，我们可以更好地理解模型在不同任务上的表现，并且可以将适配器用于其他类似的任务，从而提高模型的可复用性。适配器微调可以显著减少微调的计算量和时间，因为它只需要微调适配器层的参数，而不需要重新训练整个模型。
论文阅读之推荐1-Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Susan Wong
03-17 2209
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation1.0 摘要总结参考文章 1.0 摘要 总结 参考文章 https://arxiv.org/pdf/2001.04253.pdf https://github.com/fajieyuan/sigir2020_peterrec https://cloud.tencent.com/developer/article/163003
Parameter-efficient transfer learning系列之Adapter
zenRRan的博客
08-22 1221
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2 Adapter3 Adapter fusion4总结参考文献1 简介目前在大规模预训练模型上进行finetune是NLP中一种高效的迁移方法，但是对于众多的下游任务而言，finetune是一种低效的参数更新方式，对于每一个下游任务，都需要去更新语言模型的全部参数，这需要庞大的训练资源。进而，人们会尝试固定语言预训练模型大部分网络...
adapter tuning
09-24
适配器调优是指对适配器进行性能优化和配置调整的过程。适配器是将不兼容的系统、技术或协议转换为可兼容的形式，以促进不同系统间的数据和通信交互。适配器调优的目的是提高适配器的性能和效率，确保其正常运行并满足系统需求。 适配器调优的关键步骤包括以下几个方面： 1. 资源分配：适配器通常需要占用一定的系统资源，如内存、CPU等。通过合理分配和配置这些资源，可以优化适配器的性能。例如，可以调整适配器的内存分配大小，使其能够处理更多的数据。 2. 缓存调整：适配器通常使用缓存存储数据，以提高数据读写的速度。优化缓存的大小和算法可以提高适配器的性能。根据实际需求，可以调整缓存的大小和数据存储方式，以达到最佳效果。 3. 网络配置：适配器可能需要通过网络进行通信。合理配置网络参数，如带宽、延迟等，可以优化适配器的通信性能。例如，可以根据网络状况调整适配器的传输速率，以避免传输延迟或丢包。 4. 安全设置：适配器需要确保数据的安全传输。适当配置安全设置，如加密、身份验证等，可以保护数据的机密性和完整性，提高适配器的安全性和性能。 5. 日志记录：适配器的日志记录可以帮助诊断和排查问题，提高适配器的调试和性能优化效率。合理配置日志记录级别和位置，可以方便地查看和分析适配器的日志信息。 总之，适配器调优是一个综合的过程，需要根据实际情况进行定制和调整。通过合理配置适配器的资源、缓存、网络和安全设置，可以提高适配器的性能和安全性，满足系统的需求。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值