大模型-DeltaTuning-增量式01：Adapter-tuning（0.5-8%）【每个transformer层内加入2个Adapter层】【Adapter就是先降维再升维的全连接】

已于 2023-06-17 11:06:36 修改
阅读量545 收藏
点赞数
分类专栏： # LLM/训练 文章标签： 深度学习 人工智能
于 2023-06-09 02:29:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131119051
版权
Adapter Tuning通过在每个Transformer层内插入Adapter层来解决大模型微调的昂贵成本问题。这种方法只训练特定任务的参数，降低了训练时的计算需求。Adapter模块设计包括在预训练模型层间插入降维-升维的全连接层结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Adapter Tuning

随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时，Adapter 的出现缓解了这个问题。Adapter在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，减少训练时算力开销。

Adapter模块设计方法

 2019年，Houlsby N等人将Adapter引入NLP领域，作为全模型微调的一种替代方案。Adapter主体架构下图所示。

预训练模型微调 | 一文带你了解Adapter Tuning - 知乎

大模型-DeltaTuning：①增量式（原模型参数不变，插入可微调参数层）、②指定式（原模型参数冻结一部分参数，微调一部分参数）、③重参数化式（将原模型参数层改造，比如插入低秩）
u013250861的博客
06-09 568
2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数。
大模型-DeltaTuning-重参数式：LoRA（Low-Rank Adaptation）【效果比全量微调还是有一定的差距】
u013250861的博客
06-17 449
lora本质是对大模型微调的方法，NLP领域的一个重要课题是，一般领域数据的通用大模型对特定任务或领域的适应。当预训练大模型很大时，重新训练所有模型参数的微调变得不可太行，例如GPT3的175B。提出的lora采用低秩分解矩阵，冻结了预训练模型的权重，并将低秩分解矩阵注入到transformer的每一层，减少了训练参数量。如上图所示们对于某个线性层而言，左边是模型原有的参数，在训练过程中是冻结不变的，右边是lora方法增加的低秩分解矩阵。
大模型之Adaptation
m0_75035152的博客
09-20 700
探测作为一种强大的分析工具，通过冻结语言模型表示编码器（上图中灰色部分）和优化特定任务的探针（上图中预测头，蓝色部分）来工作。这些模型可以是线性的或浅前馈预测头，提供了一种灵活的方法来理解和解释深度学习模型的内部工作机制。固定长度表示的策略也进一步促进了这一目的，提供了灵活而有效的解决方案。冻结（灰色）：无需任何操作。优化（蓝色，每个任务有所不同）：语言模型的所有参数，外加一个新的预测头。微调是一种强大的工具，可以使预先训练的语言模型更好地符合人类的期望和需求。
什么是适配器微调（Adapter tuning）
最新发布
彬彬侠的博客
04-19 803
适配器微调（Adapter Tuning）是一种参数高效微调（PEFT） 方法，用于在不修改预训练模型全部参数的情况下，将模型适配到特定任务或数据集。它的核心思想是在预训练模型的结构中插入小型的、可训练的神经网络模块（称为适配器，Adapters），只更新这些适配器的参数，而冻结原始模型的参数，从而以较低的计算和存储成本实现高效微调。还包含使用 Hugging Face 的 transformers 库和 adapters 库在 BERT 模型上为文本分类任务实现适配器微调的示例。示例使用 基于 GLUE
详解大模型微调方法LoRA Adapter(内附实现代码)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-27 1万+
以GPT-3 175B参数量为例，过大的参数量在Finetune的时候代价很大，Adapter适配器方法是进行大模型微调的方法之一。本文详细介绍了大模型微调方法LoRA和代码实现
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
热门推荐
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
大模型微调——Adapter Tuning
2301_82275412的博客
10-22 983
大模型的微调是指在一个已经预训练好的大型深度学习模型基础上，通过使用特定任务的数据集进行额外的训练，以使模型更好地适应该任务。通常情况下，大模型（如BERT、GPT等）会在大规模的“通用数据”上进行预训练，微调的目的是在这个预训练的基础上，通过使用与目标任务相关的小规模数据集，调整模型参数，使其更好地完成特定任务。馆长经常会把大模型训练类比到雅思考试，模型预训练的阶段就像是前期看看美剧、看看英文书籍等，先学习“语言”本身，学到了一定程度的语言理解后；
自然语言处理｜Adapter：大模型微调的高效之道
紫雾凌寒
03-21 1220
本文论述了：Adapter 技术作为参数高效微调的重要创新，在大模型微调领域展现出了独特的优势和广阔的应用前景。通过在预训练模型中插入少量的 Adapter 模块，它成功解决了传统全量微调面临的计算资源消耗大、过拟合风险高以及训练时间长等问题，使得大模型能够在更经济高效的方式下适应各种下游任务 。
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
丨汀、的博客
09-05 1091
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
适配器微调（Adapter tuning）
2301_77818837的博客
01-03 8008
如图 2所示， (Neil Houlsby, 2019)给出了Adaptor tuning与传统迁移学习（调整靠近输出的几层）在调整同等数量的参数的情况下，模型性能的差别。在训练过程中，一般只调整图 4中绿色的部分，包括适配器的下投影前馈层、上投影前馈层、非线性层以及Transformer模块中的两个归一层的参数。最后，设置好训练参数，即可通过adapters包的AdapterTrainer类进行训练了，再调用trainer的save_model方法即可把训练好的适配器（不包括基础模型）保存在本地。
【大模型开发】开源大模型微调：适配器（Adapters）方案
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-12 1179
下面将详细介绍 开源大模型适配器（Adapters） 微调技术的核心思想、常见应用场景以及如何通过一段可执行的代码示例来完成适配器的微调流程。文末还将结合实际应用给出如何自定义、修改和优化的建议，帮助读者在自己的项目中灵活落地。
少资源微调AI绘画大模型！从T2I-Adapter到大热ControlNet
idol24的博客
03-15 1591
本文来源机器之心 作者：王浩帆、王奇勋本文从实际存在的问题出发，对代码框架不兼容、模型加载受限等问题率先提出了自研解决方案，快速帮助开发者更容易地开发。在 ChatGPT 出圈不久，ControlNet 的横空出世很快在英文和中文互联网收获了众多开发者和普通用户，甚至有用户宣传 ControlNet 的出现将 AI 创作带入了直立行走的时代。不夸张地说，包括 ControlNet 在内，同期的...
Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP
沉迷单车的追风少年
06-04 1801
大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所
大模型微调技术 --＞ Adapter
weixin_46034279的博客
11-06 1355
权衡准确率和可训练任务特定参数的数量，对于 adapter 微调和 finetuning。y 轴以全量微调的性能为基准，x 轴是微调参数量。曲线显示了 GLUE 基准九项任务的第 20、50 和 80 百分位数性能。基于 adapter 的调整在训练参数数量减少两个数量级的情况下取得了与 全量微调 类似的性能。提出了 compact 和 extensible 下游任务模型的迁移学习策略紧凑型(compact)模型是只需要为每个任务添加少量参数，就能解决多项任务的模型。
大模型高效微调综述上：Adapter Tuning、AdaMix、PET、Prefix-Tuning、Prompt Tuning、P-tuning、P-tuning v2
qq_56591814的博客
06-21 1万+
PEFT高效参数微调）方法可以通过多种方式进行分类，本文介绍了第一大类 additive中的常见方法。
大模型LLM-微调 Adapter Tuning（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
08-02 4595
在自然语言处理（NLP）中，微调大型预训练模型是一种有效的迁移机制。然而，面对众多下游任务时，微调在参数上是不够高效的：每个任务都需要一个全新的模型。作为替代方案，我们提出了使用适配器模块（adapter modules）进行迁移。适配器模块提供了一个紧凑且可扩展的模型；它们每个任务只增加了少量可训练参数，而且可以无需重新审视先前的任务即可添加新任务。原始网络的参数保持固定，从而实现了高度的参数共享。
解析大模型常用微调方法：P-Tuning、Prefix Tuning、Adapter、LoRA
2401_85328934的博客
12-21 734
预训练大模型虽然具有强大的泛化能力和广泛的知识，但它们通常是针对大量通用数据集进行训练的，这使得它们在处理特定任务时可能无法达到最佳效果，比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色，但在物理、化学或编程等专业性问题上往往变的傻了吧唧。怎样让大模型更好地适用于特定场景？此时我们就需要利用特定任务的数据集来进一步训练模型，通过模型精调让全能型大模型变的专而精。这种针对性的精调训练能够使模型更加专注于目标任务的特征，从而提高其在特定任务上的准确性和效率。
Adapter-Tuning：高效适配预训练模型的新任务
花千树的专栏
03-05 2163
相比 Fine-Tuning，Adapter-Tuning 计算资源消耗更低，并且存储占用小，是预训练模型调优的一个理想选择。Adapter-Tuning 通过在 Transformer 层中插入可训练的 “Adapter” 模块，而不改变原始预训练模型的参数。Adapter-Tuning 作为一种高效的模型调优方法，允许我们在预训练模型的基础上，通过引入轻量级 “Adapter” 层来进行任务特定的学习。本文介绍 Adapter-Tuning 技术，并通过一个意图识别任务的代码示例展示其应用。
zzzall-mpnet-base-v2模型： Sentence-Bert领域的突破
资源摘要信息:"zzzall-mpnet-base-v2-model"是基于Sentence-Bert模型的一次改进版本，它采用了更先进的技术来实现自然语言处理任务中的句子嵌入，使得模型在理解和处理句子级信息方面具有更好的性能。 Sentence-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值