微调方法是啥？如何微调？

于 2025-04-24 22:53:29 发布
阅读量1k 收藏 5
点赞数 17
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hh051020/article/details/147494339
版权
  1. 微调方法是啥？如何微调？
    fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。
    prompt-tune, 包括p-tuning、lora、prompt-tuning、adaLoRA等delta tuning方法，部分模型参数参与微调，训练快，显存占用少，效果可能跟FT（fine-tune）比会稍有效果损失，但一般效果能打平。
    链家在BELLE的技术报告《A Comparative Study between Full-Parameter and LoRA-based Fine- Tuning on Chinese Instruction Data for Instruction Following Large Language Model》中实验显示：FT效果稍好于LoRA。


peft的论文《ADAPTIVE BUDGET ALLOCATION FOR PARAMETER- EFFICIENT FINE-TUNING》显示的
结果：AdaLoRA效果稍好于FT。

  1. 为什么需要 PEFT？
    在面对特定的下游任务时，如果进行Full FineTuning（即对预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。
  2. 介绍一下 PEFT？
    PEFT技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。
  3. PEFT 有什么优点？
    PEFT技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究中来。除此之外，FEFT可以缓解全量微调带来灾难性遗忘的问题。
  4. 微调方法批处理大小模式GPU显存速度？
    微调方法批处理大小模式GPU显存速度
    LoRA (r=8) 16 FP16 28GB 8ex/s LoRA (r=8) 8 FP16 24GB 8ex/s LoRA (r=8) 4 FP16 20GB 8ex/s LoRA (r=8) 4 INT8 10GB 8ex/s LoRA (r=8) 4 INT4 8GB 8ex/s
    P-Tuning (p=16) 4 FP16 20GB 8ex/s P-Tuning (p=16) 4 INT8 16GB 8ex/s P-Tuning (p=16) 4 INT4 12GB 8ex/s Freeze (l=3) 4 FP16 24GB 8ex/s Freeze (l=3) 4 INT8 12GB 8ex/s
  5. Peft 和 全量微调区别？
    所谓的 fune-tine 只能改变风格, 不能改变知识, 是因为我们的 fine-tune, 像是 LoRA 本来就是低秩的, 没办法对模型产生决定性的改变. 要是全量微调, 还是可以改变知识的.
  6. 多种不同的高效微调方法对比
    像P-Tuning v2、LoRA等都是综合评估很不错的高效微调技术。如果显存资源有限可以考虑QLoRA；如果只是解决一些简单任务场景，可以考虑P-Tuning、Prompt Tuning也行。
    下表从参数高效方法类型、是否存储高效和内存高效、以及在减少反向传播成本和推理开销的计算高效五个维度比较了参数高效微调方法。


下表展示了各种参数高效方法的参与训练的参数量、最终模型与原始模型的改变参数（delta值）以及论文中参与评估的模型的范围（<1B、<20B、>20B）。


从表中可以看到，Prompt Tuning、Prefix Tuning、LoRA等少部分微调技术针对不同参数规模的模型进行过评估，同时，这几种方式也是目前应用比较多的高效微调方法。

  1. 当前高效微调技术存在的一些问题
    当前的高效微调技术很难在类似方法之间进行直接比较并评估它们的真实性能，主要的原因如下所示：
    1. 参数计算口径不一致：参数计算可以分为三类：可训练参数的数量、微调模型与原始模型相比改变的参数的数量、微调模型和原始模型之间差异的等级。例如，DiffPruning更新0.5%的参数，但是实际参与训练的参数量是200%。这为比较带来了困难。尽管可训练的参数量是最可靠的存储高效指标，但是也不完美。 Ladder-side Tuning使用一个单独的小网络，参数量高于LoRA或BitFit，但是因为反向传播不经过主网络，其消耗的内存反而更小。
    2. 缺乏模型大小的考虑：已有工作表明，大模型在微调中需要更新的参数量更小（无论是以百分比相对而论还是以绝对数量而论），因此（基）模型大小在比较不同PEFT方法时也要考虑到。
    3. 缺乏测量基准和评价标准：不同方法所使用的的模型/数据集组合都不一样，评价指标也不一样，难以得到有意义的结论。
    4. 代码实现可读性差：很多开源代码都是简单拷贝Transformer代码库，然后进行小修小补。这些拷贝也不使用git fork，难以找出改了哪里。即便是能找到，可复用性也比较差（通常指定某个 Transformer版本，没有说明如何脱离已有代码库复用这些方法）。

  1. 高效微调技术最佳实践
    针对以上存在的问题，研究高效微调技术时，建议按照最佳实践进行实施：
    1. 明确指出参数数量类型。
    2. 使用不同大小的模型进行评估。
    3. 和类似方法进行比较。
    4. 标准化PEFT测量基准。
    5. 重视代码清晰度，以最小化进行实现。

  1. PEFT 存在问题？
    相比全参数微调，大部分的高效微调技术目前存在的两个问题：
    1. 推理速度会变慢；
    2. 模型精度会变差；

  1. 能不能总结一下各种参数高效微调方法？
    本文针对之前介绍的几种参数高效微调方法进行了简单的概述，主要有如下几类：
    1. 增加额外参数，如：Prefix Tuning、Prompt Tuning、Adapter Tuning及其变体。
    2. 选取一部分参数更新，如：BitFit。
    3. 引入重参数化，如：LoRA、AdaLoRA、QLoRA。
    4. 混合高效微调，如：MAM Adapter、UniPELT。

并比较了不同的高效微调方法之间的差异；同时，还指出当前大多数高效微调方法存在的一些问题并给出了最佳实践。

详解大模型微调数据集构建方法(持续更新)
herosunly的博客
06-05 25万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
为什么你需要微调国产大模型？Qwen × DeepSeek × Baichuan 微调价值全解析
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-04 711
本文聚焦 国产大模型微调实战全流程，以 Qwen2.5 为例，结合 LoRA 精调技术，从业务场景剖析、模型选型建议、微调方式对比（LoRA / QLoRA）、训练数据构建，到完整训练脚本与推理部署，全流程演示国产模型精调闭环，助你构建属于自己的“企业知识型模型”。
PEFT中的主流微调方法(LORA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning及P-Tuning v2)
安静的软件工程师
03-14 2101
PEFT中的主流微调方法(LORA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning及P-Tuning v2)
大模型微调技术——PEFT
Whitney66的博客
04-08 2614
本文主要讲述了大模型的训练和微调成本较高，以及如何通过Prefix Tuning降低大模型微调成本的问题。此外，文中也涉及到大模型的训练难度和微调的复杂性，以及Prefix Tuning的原理和优势。同时，文中还介绍了如何使用Prefix Tuning进行模型微调的具体步骤和注意事项，以及Prefix Tuning在自然语言处理领域的应用前景。
大模型高效微调（PEFT）方法大全
xzp740813的博客
06-11 2693
按Additive、Selective、Reparametrization-based分类介绍，主要方法会介绍细节，其余方法一句话概括。
大模型参数高效微调（PEFT）技术解析及微调加速实践
2301_76161259的博客
06-06 2008
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。作者介绍：刘辉，58同城TEG-AILab大语言模型算法工程师，主要负责灵犀大语言模型的SFT微调工作。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。
大模型（LLMs）参数高效微调(PEFT)
Java架狗师知识框架速查表
11-21 1129
本文介绍了参数高效微调（PEFT）技术，旨在通过最小化微调参数的数量和计算复杂度，提高预训练模型在新任务上的性能。PEFT技术包括全参微调和部分参数微调方法，如LoRA、AdaLoRA等。文章比较了不同微调方法的优缺点，指出PEFT在提高模型效果的同时，大大缩短了训练时间和计算成本。然而，当前的高效微调技术存在参数计算口径不一致、缺乏模型大小考虑、测量基准和评价标准不统一、代码实现可读性差等问题。为了解决这些问题，文章提出了高效微调技术的最佳实践，并总结了各种参数高效微调方法的类型和差异。
法律行业突破：如何用DeepSeek微调合同审查模型？案例数据标注与部署避坑指南.pdf
02-14
本文将从实际应用的角度出发，为你详细介绍 DeepSeek 的基本原理、操作方法以及高级技巧。通过系统的学习，你将能够轻松地运用 DeepSeek 解决实际问题，提升工作效率和质量，让自己在职场和学术领域脱颖而出。该文档...
大模型LoRA微调调参的实战技巧(持续更新)
herosunly的博客
05-01 19万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
LLaMA Factory多卡微调的实战教程（持续更新）
热门推荐
herosunly的博客
06-12 23万+
本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
使用PEFT微调ChatGLM3-6B
saoqi_boy的博客
12-18 2877
PEFT（Parameter-Efficient Fine-Tuning）是一个库，用于有效地使大型预训练模型适应各种下游应用程序，而无需微调模型的所有参数，因为它的成本高得令人望而却步。PEFT方法仅微调少量（额外）模型参数 - 显着降低计算和存储成本 - 同时产生与完全微调模型相当的性能。这使得在消费者硬件上训练和存储大型语言模型 （LLM） 变得更加容易。
参数高效微调方法详解（PEFT，Parameter Efficient Fine-Tuning）
祖国翔的博客
04-15 1873
你可以使用几种方法进行参数高效微调，每种方法在参数效率、内存效率、训练速度、模型质量和推断成本方面都有权衡。本文主要讲解了参数高效微调方法的三类中的两类的两种方法，LoRA 和prompt tuning。
大模型-微调技术：PEFT库
u013250861的博客
06-09 1038
随着ChatGPT等LLM大模型的发展，目前业界已经发现只有当模型的参数量达到10B规模以上时-才能出现一些在小模型上无法得到的涌现能力-比如in_context learing和chain of thougt。深度学习似乎朝着模型越来越大的方向深入。而对于这些通用的LLM大模型如何进行任务微调呢，会遇到很多的问题。1）对于动则百亿级别的参数,如何更高效,低资源的微调大模型呢；2）当样本量很小的时候，如何微调大模型能得到较好的效果呢。
大模型参数高效微调（PEFT）高效解析
Python栈
03-18 922
2023年，大模型如雨后春笋般爆发，58同城TEG-AI Lab作为AI平台部门，紧跟大语言模型技术发展步伐，打造了大语言模型平台，支持大语言模型训练和推理部署，并基于大语言模型平台构建了58同城生活服务领域（房产、招聘、汽车、黄页）垂类大模型灵犀大语言模型（ ChatLing），支撑了业务方大模型应用的探索落地。灵犀大语言模型在公开评测集和实际应用场景下，效果均优于开源通用大语言模型以及商用通用大语言模型。在研发灵犀大模型过程中，我们在大模型参数高效微调
【大模型微调实战】使用Peft技术与自己的数据集微调大模型
aqwca的博客
11-01 7894
LLM是大型语言模型的缩写，是人工智能和机器学习领域的最新创新。2022年12月，随着ChatGPT的发布，这种强大的新型人工智能在网上疯传。对于那些足够开明的人来说，生活在人工智能的嗡嗡声和科技新闻周期之外，ChatGPT是一个在名为GPT-3的LLM上运行的聊天界面。最近的大模型就是Meta的llama2当然还有openai的GPT4,google的PaLM2.国内有清华的ChatGLM等等.
Py之peft：peft(一款最先进的参数高效微调方法库)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-20 8836
​ Py之peft：peft(一款最先进的参数高效微调方法库)的简介、安装、使用方法之详细攻略 目录 peft的简介 peft的安装 peft的使用方法 peft的简介 参数有效微调(PEFT)方法使预训练语言模型(PLMs)能够有效地适应各种下游应用，而无需微调模型的所有参数。对大规模plm进行微调的成本往往高得令人望而却步。在这方面，PEFT方法只微调了少量(额外的)模型参数，从而大大降低了计算和存储成本。最近最先进的PEFT
LLM | 一文了解大语言模型中的参数高效微调(PEFT)
weixin_44649780的博客
12-04 3583
PEFT（参数高效微调）通过有针对性的系数调整来减少大型语言模型的计算和内存需求。LoRA（低秩采用）选择重要系数，而量化通过将高精度系数转换为较低精度的形式来减少内存使用，这两者在 PEFT 中都至关重要。使用 PEFT 微调 LLM 涉及结构化数据准备、库设置、模型选择、PEFT 配置、量化选择以及对训练和验证损失的监控，以平衡效率和模型性能。
[LLM]大型语言模型高效微调---PEFT
摩登都市天空---专栏
05-05 1215
Adapters。
参数高效微调 (PEFT)(理论遍)
yitang的博客
12-10 655
参数高效微调 (PEFT) 是一种针对特定任务或数据集提高预训练大型语言模型 (LLM) 和神经网络性能的方法。通过训练一小组参数，并保留大型预训练模型的大部分结构，PEFT 可以节省时间和计算资源。神经网络经过诸如自然语言处理 (NLP) 或图像分类等一般任务训练后，可以专注于相关的新任务，而无需完全重新训练。PEFT 是一种资源高效的方法，可以构建高度专业化的模型，而无需每次都从头开始。
大模型是如何微调的？
03-18
<think>好的，我现在需要回答用户关于大模型微调方法和过程的提问。首先，我得理清楚用户的需求。用户提到了大模型微调，可能想知道常见的微调技术、它们的优缺点以及具体步骤。用户还提供了几个引用，涉及LoRA、Prompt Tuning等，这些都需要整合到回答中。 首先，我应该从基础的全参数微调开始解释，这样用户能有一个全面的了解。全参数微调虽然有效，但计算和存储成本高，尤其是对于大模型来说。接下来，需要介绍参数高效微调方法（PEFT），比如LoRA和Prompt Tuning系列，这些是用户提到的引用中的重点。 引用[1]提到过度参数化模型，如CNN和Transformer，这类模型泛化能力强但微调时需要处理大量参数。这里需要说明为什么需要高效的微调方法。引用[2]讲的是LoRA，可以强调其减少可训练参数的优势，但存储问题依然存在。引用[3]详细介绍了Prompt Tuning的几个变体，需要逐个解释它们的特点和演进过程。 然后，我需要组织回答的结构。首先概述微调的基本概念和步骤，然后分点介绍不同的方法，包括全参数微调和参数高效方法。在参数高效方法中，详细说明LoRA、Prefix-Tuning、P-Tuning系列等，结合引用内容。最后总结选择微调方法的考虑因素，并生成相关问题。 需要注意的是，用户要求使用中文回答，行内公式用$...$，独立公式用$$...$$。例如，在解释LoRA时，可能需要提到低秩分解的数学表示，使用行内公式。同时，确保引用的正确标注，比如在提到LoRA时添加[^2]，提到Prompt Tuning时引用[^3]。 还要检查是否有遗漏的微调方法，比如Adapter Tuning，虽然用户没有提到，但作为常见技术应该包含进去。此外，回答需要结构清晰，分步骤或分点，帮助用户逐步理解。 最后，生成的相关问题需要围绕大模型微调展开，比如比较不同方法、应用场景、挑战等，确保问题有针对性，能够引导用户进一步探索。</think>大模型微调是指通过调整预训练模型的参数，使其适应特定任务的过程。以下是主要方法和技术详解： ### 一、微调基础流程 1. **预训练模型加载**：从Hugging Face等平台加载基础模型（如BERT、GPT-3） 2. **任务适配改造**：修改输出层结构，例如分类任务添加softmax层 3. **参数选择策略**： - 全参数微调：更新所有参数（计算成本高） - 部分冻结：固定底层参数，仅微调顶层（常用在相似领域任务） 4. **损失函数设计**：根据任务类型选择交叉熵、均方误差等 ### 二、主流微调方法 #### 1. 全参数微调 $$ \theta_{new} = \theta_{pretrained} - \eta \nabla_\theta L(\theta) $$ 适用于数据量充足的场景，但需要$O(N)$存储（N为参数量），例如175B参数的GPT-3需要700GB显存[^1] #### 2. 参数高效微调（PEFT） **(1) LoRA（Low-Rank Adaptation）** 将权重更新量分解为低秩矩阵：$W' = W + BA$，其中$B \in \mathbb{R}^{d×r}, A \in \mathbb{R}^{r×k}$，可减少97%参数[^2] ```python # 伪代码实现 class LoRALayer(nn.Module): def __init__(self, rank): self.A = nn.Parameter(torch.randn(input_dim, rank)) self.B = nn.Parameter(torch.zeros(rank, output_dim)) def forward(x): return x @ (W + self.A @ self.B) ``` **(2) Prompt Tuning系列** - **Prefix-Tuning**：在输入前添加可学习的连续向量$P \in \mathbb{R}^{l×d}$，通过LSTM生成前缀参数 - **P-Tuning v2**：在不同网络层插入prompt tokens，解决深层次任务适配问题 **(3) Adapter Tuning** 在Transformer层间插入适配模块： $$ h' = h + f(W_{down} \cdot \sigma(W_{up} \cdot h)) $$ 通常仅添加3-5%新参数 ### 三、方法对比 | 方法 | 参数量占比 | 训练速度 | 任务迁移能力 | |---------------|------------|----------|--------------| | 全参数微调 | 100% | 慢 | 优 | | LoRA | 0.1-1% | 快 | 良 | | Prefix-Tuning | 0.1-0.5% | 中 | 中 | ### 四、实践建议 1. 小样本场景优先使用LoRA或Prompt Tuning 2. 多任务学习建议使用Adapter结构 3. 部署时可通过参数合并（如LoRA的$W+BA$合并为单个矩阵）减少推理延迟
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI Echoes

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值