微调方法对比（LoRA 、P-tuning、Freeze）

墨垣_

已于 2024-09-26 10:03:39 修改

阅读量2.2k

点赞数 24

文章标签： nlp 深度学习人工智能

于 2024-08-07 18:19:59 首次发布

本文链接：https://blog.csdn.net/m0_52965867/article/details/140998082

版权

在这里插入图片描述

LoRA 微调方法的主要优势

预训练模型参数可以被共享，用于为不同的任务构建许多小的 LoRA 模块。冻结共享模型，并通过替换矩阵 A 和 B 可以有效地切换任务，从而显著降低存储需求和多个任务切换的成本。

当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。

低秩分解采用线性设计的方式使得在部署时能够将可训练的参数矩阵与冻结的参数矩阵合并，与完全微调的方法相比，不引入推理延迟。

LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。

Prefix-tuning 微调方法

在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数请添加图片描述
$pϕ (z i + 1 ∣ h \leq i) =$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

墨垣_

关注关注

24
点赞
踩
33

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuning等]

丨汀、的博客

06-12

2474

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuning等]

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

最新发布

2401_85375186的博客

03-04

2091

LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。

ChatGLM-6B微调p tuning v2和lora对比

Acecai01的博客模板

06-29

4644

使用p tuning v2和lora两种不同的方法微调chatglm-6b模型，对比两种微调方法的效果，验证微调是否能够使得模型具备记忆能力

p-tuing和Lora的区别

强化学习曾小健

06-16

2776

自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调效果不好，后续引入了p tuning v2的方法来少资源微调。

一文辨析清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

人工智能讲师分享前沿技术

11-21

6769

P-Tuning：使用一个可训练的LSTM模型（称为prompt_encoder）来动态生成虚拟标记嵌入，允许根据输入数据的不同生成不同的嵌入，提供了更高的灵活性和适应性，适合需要精细控制和理解复杂上下文的任务，相对复杂，因为它涉及一个额外的LSTM模型来生成虚拟标记嵌入。感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;

大模型训练方式P-tuning和LoRA

qq_15821487的博客

05-20

1147

P-tuning：自动构建模版，释放语言模型潜能：https://zhuanlan.zhihu.com/p/364141928?utm_id=0LoRA：大语言模型参数高效性微调方法：https://zhuanlan.zhihu.com/p/620552131

一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

丨汀、的博客

03-04

1899

一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

LLM大模型低资源微调p-tuning v2和LoRA区别

weixin_40920183的博客

07-09

2524

作者：归来仍是少年@知乎一、前言自从chatgpt的爆火，也同时引发了国内大模型的热潮，像百度出了文心一言、阿里出了通义千问等，但是这些大模型并未开源，国内外开源的中等规模的模型有meta的LLaMA，斯坦福基于LLaMA微调的Alpaca，国内的chatglm，这种能够让一般的公司来做微调。现在国内一般微调比较多的模型应该是chatglm，chatglm刚出来的时候少资源情况下只能微调几层，微调...

[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞

AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。

05-26

1129

你也可以直接运行支持加载 P-Tuning v2 checkpoint 的。改为 JSON 文件中输入文本和输出文本对应的 KEY。改成本地的模型路径（注意不是checkpoint路径）。的内容以符合你实际的 checkpoint 情况。），将自动把聊天历史拼接。为你自己的 JSON 格式数据集路径，并将。来匹配你自己的数据集中的最大输入输出长度。为数据中聊天历史的 key（在此例子中是。改成你训练时的实际值。

大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning 并训练自己的数据集

weixin_38353277的博客

03-20

6046

大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

大模型进阶微调篇（一）：以定制化3B模型为例，各种微调方法对比-选LoRA还是PPO，所需显存内存资源为多少？

分享有趣的、贴近生活的CS知识

10-18

1799

如果你想要快速、高效地对模型进行微调，且用户反馈较为简单（例如只选择最佳答案），LoRA是一个不错的选择。如果你需要在复杂的交互环境中不断优化模型性能，且用户能够提供详细的反馈（如评分），那么PPO是更合适的选择。当数据规模较小时，LoRA 更加高效；而在数据规模较大时，PPO 更能发挥其优势。根据数据规模（1k-10k、10k-50k、50k+），选择合适的微调方法可以最大化地提高模型的性能和训练效率。

微调LLM时，full、freeze、lora区别

大AI时代，人性化的信息更加难得可贵

11-07

476

它通过在不同层之间引入可学习的关联系数，来调整模型在每个层级上的相关性。Freeze微调：Freeze微调是指在微调过程中冻结（不更新）部分模型的参数。通常，我们会选择冻结模型的底层（低级的）部分，而只更新模型的高层（高级的）参数。这些微调策略的选择取决于不同的需求和情况。Full微调适用于全面调整模型的情况，而Freeze微调适用于只关注特定任务的情况。LORa微调则提供了一种更加灵活的方式来调整模型在不同层级上的相关性。Full微调：Full微调是指在微调过程中更新整个模型的所有参数。

解析大模型常用微调方法：P-Tuning、Prefix Tuning、Adapter、LoRA

AIBigModel的博客

12-21

1181

作者：王海原文：https://zhuanlan.zhihu.com/p/7474042360预训练大模型虽然具有强大的泛化能力和广泛的知识，但它们通常是针对大量通用数据集进行训练的，这使得它们在处理特定任务时可能无法达到最佳效果，比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色，但在物理、化学或编程等专业性问题上往往变的傻了吧唧。怎样让大模型更好地适用于特定场景？此时我们就需要利用特定任务的数据集来进一步训练模型，通过模型精调让全能型大模型变的专而精。

大模型微调方法：冻结方法 Freeze、P-Tuning 系列、LoRA、QLoRA

Debroon

12-13

9909

在 Prompt Tuning 中，连续提示仅插入到 Transformer 的第一层输入嵌入序列中，而在接下来的Transformer层中，连续提示位置的嵌入是由之前的 Transformer 层计算得到的。在 P-tuning v2 中，作者发现重参数化的改进很小，尤其是对于较小的模型，同时还会影响模型的表现。：传统的预训练模型中，只有最后一层或者少数几个层的参数会被更新，而其他层的参数保持不变。因此，只微调后几层的全连接层参数，可以保留预训练模型的大部分知识，同时通过微调来适应具体任务的特定要求。

peft代码解读:Prefix Tuning/LoRA/P-Tuning/Prompt Tuning

weixin_36378508的博客

06-28

2971

peft

大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning

AI天才研究院

06-18

1万+

自然语言处理目前存在一个重要范式：一般领域数据的大规模预训练，对特定任务或领域的适应（finetune）。但是随着预训练语言模型越来越大，这个范式存在以下问题：● 当我们finetune大模型时，由于训练成本太高，不太可能重新训练所有模型参数● 以前的方法（论文发表于2021年）都或多或少有其它性能问题，如adapter增加了模型层数，引入了额外的推理延迟；prefix-tuning比较难训练，效果不如直接finetune。

针对p-tuning v2和lora微调，有什么典型的面试问题及回答

03-04

<think>好的，我现在需要帮用户整理关于P-Tuning v2和LoRA微调的典型面试问题及回答。首先，我得回忆一下这两种微调方法的基本概念和区别。P-Tuning v2主要是通过引入可训练的连续提示向量（prompt tuning），而LoRA则是通过低秩适配器在模型的权重矩阵中注入可训练参数。接下来，用户可能想知道面试中常被问到的问题类型，比如两者的对比、优缺点、适用场景等等。用户可能希望这些问题能够覆盖理论理解、实际应用以及比较分析。因此，我需要分门别类地整理问题，比如基础概念题、对比分析题、实现细节题、应用场景题等。每个问题下需要简明扼要的回答，同时确保技术细节准确无误。例如，可能会问“P-Tuning v2的核心改进是什么？”这时候需要回答它解决了v1中的哪些问题，比如深度提示和参数效率。另外，考虑到面试中可能出现的实战题，例如如何选择这两种方法，需要结合具体场景来分析。比如，如果资源有限，LoRA可能更适合，因为它参数更少，训练更快。而需要更好效果时，P-Tuning v2可能更优。同时，还要注意两者的结合使用，这在面试中可能是一个加分点。还需要检查是否有常见的误解需要澄清，比如是否LoRA只能用于注意力层，或者P-Tuning v2是否需要修改模型结构。回答时要准确指出这些误解，并提供正确的信息。此外，面试官可能会问及参数效率、训练速度、显存占用等实际因素，这些都需要详细对比。最后，要确保回答结构清晰，层次分明，使用适当的Markdown格式，如表格和代码块，来增强可读性。同时，语言要简洁，避免冗长，但又要覆盖关键点。可能还需要补充一些示例，比如代码片段，展示如何实现这两种方法，帮助用户更好地理解。</think>以下是针对P-Tuning v2和LoRA微调技术的典型面试问题及参考答案整理，采用结构化分类组织： --- ### 一、基础概念题 **Q1: 简述P-Tuning v2的核心改进** *A1:* - 解决v1版本的两大痛点： 1. **深度连续性**：在每一层Transformer都插入可训练提示向量（Prefix-tuning思路） 2. **参数效率**：通过多层共享提示参数减少参数量（典型配置：每层共享256维向量） - 数学形式：对第$l$层输入的增强： $$ h^{(l)} = [P^{(l)}; h^{(l)}_{original}]W^{(l)} $$ 其中$P^{(l)}$为可训练提示向量 --- ### 二、对比分析题 **Q2: LoRA与P-Tuning v2的本质区别** *A2:* | 维度 | LoRA | P-Tuning v2 | |------------|-------------------------------|------------------------------| | **修改位置** | 权重矩阵旁路（$W + \Delta W$） | 输入空间扩展（添加prefix） | | **参数分布** | 分散在多层线性层 | 集中在输入/各层prefix | | **显存占用** | 较高（需缓存适配器梯度） | 较低（仅提示向量相关参数） | | **适配速度** | 更快收敛（直接修改权重） | 较慢（依赖prompt语义学习） | **Q3: 为什么LoRA常采用较小的rank值？** *A3:* 1. **低秩假设**：语言模型的权重更新具有低秩特性（rank=8时可保留95%以上信息） 2. **计算优势**：分解矩阵$B \cdot A$的参数量为$r(d_{in}+d_{out})$，当$r \ll min(d_{in},d_{out})$时显著减少参数 3. **过拟合控制**：限制秩相当于隐式正则化（实验表明rank=8在多数任务表现最佳） --- ### 三、实现细节题 **Q4: 如何为LoRA选择目标层？** *A4:* 1. **经验法则**： - 优先选择`query`和`value`投影层（对语义理解最关键） - 输出层`dense`适配对生成任务更有效 2. **实验策略**： ```python # Hugging Face实现示例 peft_config = LoraConfig( target_modules=["query", "value", "dense"], # 关键层 r=8, lora_alpha=32, lora_dropout=0.1 ) ``` **Q5: P-Tuning v2如何实现参数共享？** *A5:* 通过**分块共享策略**： - 将深度网络划分为多个块（如每4层为一组） - 同一块内共享相同的提示向量 - 代码实现示例： ```python class PrefixEncoder(nn.Module): def __init__(self, num_layers, hidden_size): self.prefix = nn.Parameter( torch.randn(num_layers//4, prefix_length, hidden_size) ) # 每4层共享一个prefix ``` --- ### 四、应用场景题 **Q6: 何时选择LoRA/P-Tuning v2？** *A6:* 决策树分析 ```mermaid graph TD A[目标任务需求] --> B{需要快速迭代?} B -->|是| C[LoRA] B -->|否| D{数据量小于1万条?} D -->|是| E[P-Tuning v2] D -->|否| F[Full Fine-tuning] ``` **Q7: 如何结合两种方法？** *A7:* 混合微调策略（Hybrid-tuning）： 1. **底层用LoRA**：增强基础语义理解能力 2. **高层用P-Tuning**：精细控制生成方向 3. 参数分配比例建议：7:3（LoRA层数 : P-Tuning层数） --- ### 五、实战陷阱题 **Q8: 为什么LoRA微调后模型会出现输出重复？** *A8:* 典型问题与解决方案： - **根本原因**：低秩适配导致生成多样性下降 - **调试方法**： 1. 增加`lora_dropout`值（0.1→0.3） 2. 调整`lora_alpha`（建议保持alpha/r=4） 3. 添加生成惩罚项： ```python model.generate(..., repetition_penalty=1.2) ``` **Q9: P-Tuning v2在长文本任务中效果差的可能原因** *A9:* 1. **位置编码冲突**：添加的prefix挤占原始token位置信息 2. **解决方案**： - 使用RoPE等相对位置编码 - 限制prefix长度（建议不超过总长度的10%） --- ### 六、前沿扩展题 **Q10: 如何理解LoRA与QLoRA的关系？** *A10:* - **QLoRA三要素**： 1. **4-bit量化**：通过NF4数据类型压缩原始模型 2. **双适配器**：在量化和反量化步骤插入LoRA 3. **分页优化器**：解决显存峰值问题 - **关键优势**：相比原始LoRA显存占用减少33%（7B模型可在24GB显存运行） --- ### 附：高频考点速记表 | 考点 | LoRA要点 | P-Tuning v2要点 | |----------------------|-------------------------------------|-----------------------------------| | 核心创新点 | 低秩矩阵分解 | 深度连续提示向量 | | 参数效率 | 约0.1%原始参数量 | 约0.3%原始参数量 | | 显存占用 | 较高（需存储适配器梯度） | 较低（仅提示向量） | | 典型应用场景 | 数据量中等（1万-10万条） | 小样本（<1千条） | | 与全量微调的效果差距 | 差距较小（平均差2-3%） | 差距较大（差5-8%） | 掌握这些核心要点，可以应对90%以上的技术面试相关问题。实际回答时建议结合具体实验数据（如「在XX数据集的实验中，LoRA仅用1.5%参数即达到97%的全量微调效果」）增强说服力。