微调方法对比（LoRA 、P-tuning、Freeze）

已于 2024-09-26 10:03:39 修改
阅读量2.3k 收藏 33
点赞数 24
文章标签： nlp 深度学习 人工智能
于 2024-08-07 18:19:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52965867/article/details/140998082
版权

在这里插入图片描述

LoRA 微调方法的主要优势

预训练模型参数可以被共享，用于为不同的任务构建许多小的 LoRA 模块。冻结共享模型，并通过替换矩阵 A 和 B 可以有效地切换任务，从而显著降低存储需求和多个任务切换的成本。

当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。

低秩分解采用线性设计的方式使得在部署时能够将可训练的参数矩阵与冻结的参数矩阵合并，与完全微调的方法相比，不引入推理延迟。

LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。

Prefix-tuning 微调方法

在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数请添加图片描述
p ϕ ( z i + 1 ∣ h ≤ i ) = s o f t m a x ( W ϕ h i ( n ) ) pϕ(zi+1∣h≤i)=softmax(Wϕhi(n)) pϕ(zi+1∣h≤i)=

最低0.47元/天 解锁文章
墨垣_
关注
LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuning等]
丨汀、的博客
06-12 2580
LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuning等]
p-tuing和Lora的区别
强化学习曾小健
06-16 2791
自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调效果不好，后续引入了p tuning v2的方法来少资源微调。
基于ChatGLM-6B、ChatGLM2模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
08-21
基于ChatGLM-6B、ChatGLM2-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，内容都是经过专业老师审定过的，基本能够满足学习、使用参考需求，如果有需要的话可以放心下载使用。
大模型常用微调方法LORA和Ptuning的原理
dc爱傲雪和技术
07-04 742
Lora方法的核心是在大型语言模型上对指定参数增加额外的低秩矩阵，也就是在原始PLM旁边增加一个旁路，做一个降维再升维的操作。并在模型训练过程中，固定PLM的参数，只训练降维矩阵A与升维矩阵B。Ptuning方法的核心是使用可微的virtual token替换了原来的discrete tokens，且仅加入到输入层，并使用prompt encoder（BiLSTM+MLP）对virtual token进行编码学习。这两种方法都是为了在的前提下，以较低的计算和存储成本，实现模型的有效自定义和优化。
【大模型微调】LoRA — 其实大模型微调也没那么难！
最新发布
2401_85375151的博客
04-19 1239
直接上干货：大语言模型可以做什么？LoRA的核心思想：随着机器学习的最新发展，对模型性能的期望也在增加，需要更复杂的机器学习方法来满足对性能的需求。在机器学习的早期阶段，构建一个模型并在单次训练中训练它是可行的。训练，在其最简单的意义上。您将一个未经训练的模型，提供给它数据，并获得一个高性能的模型。对于简单问题来说，这仍然是一种流行的策略，但对于更复杂的问题，将训练分为两个部分，即“预训练”和“微调”，可能会很有用。总体思路是在一个大规模数据集上进行初始训练，并在一个定制的数据集上对模型进行优化。
ChatGLM-6B微调p tuning v2和lora对比
Acecai01的博客模板
06-29 4665
使用p tuning v2和lora两种不同的方法微调chatglm-6b模型，对比两种微调方法的效果，验证微调是否能够使得模型具备记忆能力
一文辨析清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
人工智能讲师分享前沿技术
11-21 6834
P-Tuning：使用一个可训练的LSTM模型（称为prompt_encoder）来动态生成虚拟标记嵌入，允许根据输入数据的不同生成不同的嵌入，提供了更高的灵活性和适应性，适合需要精细控制和理解复杂上下文的任务，相对复杂，因为它涉及一个额外的LSTM模型来生成虚拟标记嵌入。感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;
大模型训练方式P-tuning和LoRA
qq_15821487的博客
05-20 1152
P-tuning：自动构建模版，释放语言模型潜能：https://zhuanlan.zhihu.com/p/364141928?utm_id=0LoRA：大语言模型参数高效性微调方法：https://zhuanlan.zhihu.com/p/620552131
一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
丨汀、的博客
03-04 1971
一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法
LLM大模型低资源微调p-tuning v2和LoRA区别
weixin_40920183的博客
07-09 2545
作者：归来仍是少年@知乎一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调...
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
热门推荐
丨汀、的博客
07-16 3万+
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-26 1132
你也可以直接运行支持加载 P-Tuning v2 checkpoint 的。改为 JSON 文件中输入文本和输出文本对应的 KEY。改成本地的模型路径（注意不是checkpoint路径）。的内容以符合你实际的 checkpoint 情况。），将自动把聊天历史拼接。为你自己的 JSON 格式数据集路径，并将。来匹配你自己的数据集中的最大输入输出长度。为数据中聊天历史的 key（在此例子中是。改成你训练时的实际值。
大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning 并训练自己的数据集
weixin_38353277的博客
03-20 6280
大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning
大模型进阶微调篇（一）：以定制化3B模型为例，各种微调方法对比-选LoRA还是PPO，所需显存内存资源为多少？
分享有趣的、贴近生活的CS知识
10-18 1875
如果你想要快速、高效地对模型进行微调，且用户反馈较为简单（例如只选择最佳答案），LoRA是一个不错的选择。如果你需要在复杂的交互环境中不断优化模型性能，且用户能够提供详细的反馈（如评分），那么PPO是更合适的选择。当数据规模较小时，LoRA 更加高效；而在数据规模较大时，PPO 更能发挥其优势。根据数据规模（1k-10k、10k-50k、50k+），选择合适的微调方法可以最大化地提高模型的性能和训练效率。
LLM微调方法Lora、Qlora、P-tuning的区别
思想改变命运
12-30 657
LLM微调方法对比.....
微调LLM时，full、freeze、lora区别
大AI时代，人性化的信息更加难得可贵
11-07 511
它通过在不同层之间引入可学习的关联系数，来调整模型在每个层级上的相关性。Freeze微调：Freeze微调是指在微调过程中冻结（不更新）部分模型的参数。通常，我们会选择冻结模型的底层（低级的）部分，而只更新模型的高层（高级的）参数。这些微调策略的选择取决于不同的需求和情况。Full微调适用于全面调整模型的情况，而Freeze微调适用于只关注特定任务的情况。LORa微调则提供了一种更加灵活的方式来调整模型在不同层级上的相关性。Full微调：Full微调是指在微调过程中更新整个模型的所有参数。
解析大模型常用微调方法：P-Tuning、Prefix Tuning、Adapter、LoRA
AIBigModel的博客
12-21 1191
作者：王海原文：https://zhuanlan.zhihu.com/p/7474042360预训练大模型虽然具有强大的泛化能力和广泛的知识，但它们通常是针对大量通用数据集进行训练的，这使得它们在处理特定任务时可能无法达到最佳效果，比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色，但在物理、化学或编程等专业性问题上往往变的傻了吧唧。怎样让大模型更好地适用于特定场景？此时我们就需要利用特定任务的数据集来进一步训练模型，通过模型精调让全能型大模型变的专而精。
大模型微调方法：冻结方法 Freeze、P-Tuning 系列、LoRA、QLoRA
Debroon
12-13 1万+
在 Prompt Tuning 中，连续提示仅插入到 Transformer 的第一层输入嵌入序列中，而在接下来的Transformer层中，连续提示位置的嵌入是由之前的 Transformer 层计算得到的。在 P-tuning v2 中，作者发现重参数化的改进很小，尤其是对于较小的模型，同时还会影响模型的表现。：传统的预训练模型中，只有最后一层或者少数几个层的参数会被更新，而其他层的参数保持不变。因此，只微调后几层的全连接层参数，可以保留预训练模型的大部分知识，同时通过微调来适应具体任务的特定要求。
peft代码解读:Prefix Tuning/LoRA/P-Tuning/Prompt Tuning
weixin_36378508的博客
06-28 3000
peft
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值