大模型-DeltaTuning-增量式01：Adapter-tuning（0.5-8%）【每个transformer层内加入2个Adapter层】【Adapter就是先降维再升维的全连接】

已于 2023-06-17 11:06:36 修改
阅读量345 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 深度学习 人工智能
于 2023-06-09 02:29:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131119051
版权

Adapter Tuning

随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时，Adapter 的出现缓解了这个问题。Adapter在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，减少训练时算力开销。

Adapter模块设计方法

 2019年，Houlsby N等人将Adapter引入NLP领域，作为全模型微调的一种替代方案。Adapter主体架构下图所示。

预训练模型微调 | 一文带你了解Adapter Tuning - 知乎

u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP
沉迷单车的追风少年
06-04 1393
大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所
刘知远大模型学习笔记-Delta Tuning
jennieg的博客
03-27 346
Prompt Learning对于位置任务不太适用，但是认为可以用于多模态。也就是图片与文本理解。Delta Tuning核心思想：绝大多数参数不变，只微调一小部分模型，优化特别少参数。也就是把解决任务抽象为一小部分参数（Delta Objects）。有了预训练大模型，这类方法才有用。分类：Addition，增量式；Specification，指定式；Reparameterization，重参数化式（现在超级常用的LoRA)。提示：以下是本篇文章正文内容，下面案例可供参考。
详解大模型微调方法LoRA Adapter(内附实现代码)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-27 6569
以GPT-3 175B参数量为例，过大的参数量在Finetune的时候代价很大，Adapter适配器方法是进行大模型微调的方法之一。本文详细介绍了大模型微调方法LoRA和代码实现
适配器微调（Adapter tuning）
2301_77818837的博客
01-03 2339
如图 2所示， (Neil Houlsby, 2019)给出了Adaptor tuning与传统迁移学习（调整靠近输出的几层）在调整同等数量的参数的情况下，模型性能的差别。在训练过程中，一般只调整图 4中绿色的部分，包括适配器的下投影前馈层、上投影前馈层、非线性层以及Transformer模块中的两个归一层的参数。最后，设置好训练参数，即可通过adapters包的AdapterTrainer类进行训练了，再调用trainer的save_model方法即可把训练好的适配器（不包括基础模型）保存在本地。
少资源微调AI绘画大模型！从T2I-Adapter到大热ControlNet
idol24的博客
03-15 1281
本文来源机器之心 作者：王浩帆、王奇勋本文从实际存在的问题出发，对代码框架不兼容、模型加载受限等问题率先提出了自研解决方案，快速帮助开发者更容易地开发。在 ChatGPT 出圈不久，ControlNet 的横空出世很快在英文和中文互联网收获了众多开发者和普通用户，甚至有用户宣传 ControlNet 的出现将 AI 创作带入了直立行走的时代。不夸张地说，包括 ControlNet 在内，同期的...
大模型高效微调综述上：Adapter Tuning、AdaMix、PET、Prefix-Tuning、Prompt Tuning、P-tuning、P-tuning v2
qq_56591814的博客
06-21 4525
PEFT高效参数微调）方法可以通过多种方式进行分类，本文介绍了第一大类 additive中的常见方法。
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
05-16
本项目聚焦于一个具体的大模型微调实战，即使用PEFT（Prompt Engineering for Fine-Tuning）方法对ChatGLM-6B进行优化，从而提升模型的性能和适应性。 **PEFT微调** 是一种针对预训练模型进行定制化调整的方法，...
KoGPT2-FineTuning：:fire:韩国GPT-2，带KoGPT2 FineTuning。 가가사데이터
02-03
KoGPT2-FineTuning SKT-AI提供了20GB的免费培训，还提供了的培训。 数据，重量，数据，重量，质量，数据，数据和数据的质量。 。가장르별학습다。 또 한 Colab 에 서 는 원 활 한 학 습 을 위 해 서谷歌驱动와 을 ...
bert-stable-fine-tuning:关于微调BERT的稳定性
03-21
尽管微调模型具有强大的经验性能，微调还是一个不稳定的过程：使用多个随机种子训练同一模型可能会导致任务性能产生较大差异。先前的文献（Devlin等人，2019; Lee等人，2020; Dodge等人，2020）确定了观察到的不稳定...
大模型promt-Tuning
最新发布
07-02
大模型promt-Tuning
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
热门推荐
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
LLM 10-大模型之Adaptation
qq_34903176的博客
09-21 326
探测作为一种强大的分析工具，通过冻结语言模型表示编码器（上图中灰色部分）和优化特定任务的探针（上图中预测头，蓝色部分）来工作。这些模型可以是线性的或浅前馈预测头，提供了一种灵活的方法来理解和解释深度学习模型的内部工作机制。固定长度表示的策略也进一步促进了这一目的，提供了灵活而有效的解决方案。冻结（灰色）：无需任何操作。优化（蓝色，每个任务有所不同）：语言模型的所有参数，外加一个新的预测头。微调是一种强大的工具，可以使预先训练的语言模型更好地符合人类的期望和需求。
机器学习8：深度学习——全连接
qqqinrui的博客
12-03 1568
深度模型最直观的解释就是多层网络，最简单的深度模型是全连接。深度网络的每个全连接层其实质就是一个逻辑回归模型，每层包括线性函数与激活函数。如图所示： ——全连接细节展示，每一层都是,表示sigmod函数。 ——全连接模型 通过多层组合，可以得到如下的解析模型： 对于模型中的隐藏层，其实质工作就是Feature Extraction,因此，隐藏层出现了卷积、小波等。以图像为例，卷积层可以...
一文辨析清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
人工智能讲师分享前沿技术
11-21 4270
P-Tuning：使用一个可训练的LSTM模型（称为prompt_encoder）来动态生成虚拟标记嵌入，允许根据输入数据的不同生成不同的嵌入，提供了更高的灵活性和适应性，适合需要精细控制和理解复杂上下文的任务，相对复杂，因为它涉及一个额外的LSTM模型来生成虚拟标记嵌入。感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;
大模型的实践应用16-一种针对大型预训练模型的微调技巧：Adapter-Tuning方法的实战应用，原理详细介绍
weixin_42878111的博客
01-05 1181
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用16-一种针对大型预训练模型的微调技巧：Adapter-Tuning方法的实战应用，原理详细介绍。Adapter-Tuning 是一种针对大型预训练模型微调的技术，它可以在保持模型参数数量较小的情况下增加模型的表现。该技术将适配器插入到预训练模型的中间层中，以允许微调特定任务时仅修改少量的参数，从而提高了微调的效率和速度。
Paramenter-Efficient Transfer Learning for NLP
from top to bottom
08-02 561
由于微调大的预训练模型很贵，且对不同的任务都需要进行针对性的微调。本文提出了适配器模块的迁移，相比微调需要优化100%的参数，适配器冻结了原始预训练模型的参数，加入了新的适配器模块，且只需要优化3%左右的参数就可以达到和微调相似的性能。.........
从此告别繁琐的模型微调，LLM-Adapters助力NLP任务快速高效微调！
Paper weekly
04-06 1520
动机和背景大型语言模型（LLMs）的成功，如 GPT-3 和 ChatGPT，发起了许多替代方案的开发。这些替代方案通过使用特定于任务的数据（如 ChatDoctor）或指令数据（如 Alpaca），微调 LLMs 来提高性能。但是，其中最具吸引力的方法是基于 Adapter 的参数微调（PEFT），因为它只需要微调插入的外部参数，而不是整个与训练模型，就能获得不错的性能。为了进一步研究 LLM ...
盘点 | ICLR 2022 迁移学习，视觉Transformer文章总结
shenlanshenyanai的博客
02-15 1560
ICLR 2022一些评分较高比较有意思的，或者偏DG的paper。 01 Oral——A Fine-Grained Analysis on Distribution Shift 文章来自ICLR 2022 Oral: A Fine-Grained Analysis on Distribution Shift 模型对 distribution shifts的鲁棒性在部署时非常重要，域泛化（domain generalization）就是专门研究这个问题的领域。虽然DG已经涌现出了非常多的研究工作，但是

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值