Full-Parameter全参数微调与LoRA低秩微调

已于 2023-06-17 10:18:49 修改
阅读量894 收藏
点赞数
分类专栏： # LLM/预训练&SFT 文章标签： 人工智能 深度学习 机器学习
于 2023-06-13 21:18:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131196559
版权
该文对比全参数微调与LoRA低秩微调在大型语言模型指令调优的效果。实验表明，LoRA在训练成本上优于全参数微调，但基础模型的选择、训练数据规模、参数数量和成本是关键因素。在特定任务上，LoRA微调能有效提升模型性能，但也存在遗忘问题。
摘要由CSDN通过智能技术生成

近年来，大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。
由于资源和成本的限制，一些研究人员采用了参数有效的调整技术，如LoRA，并取得了不错的结果。与全参数微调相比，基于LoRA的微调在训练成本方面表现出显著的优势。针对这类问题，本文介绍一篇关于全监督微调和lora微调的对比评估工作：
7fd1fa2b61db0a03706ce4319f784b21.png
该工作主要对比了全参数微调和Lora微调的对比，这对后续SFT模型微调有一定的参考意义。具体地，该工作利用LLaMA作为基本模型，对全参数微调和基于LoRA的微调方法进行了实验比较，实验结果表明，基础模型的选择、训练数据集规模、可学习参数数量和模型训练成本都是重要因素。供大家一起参考。

一、工作背景

目前，有几个开源的大型语言模型已经对教学数据进行了微调，包括OPT（Zhang等人，2022）、BLOOM࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）
u013250861的博客
06-09 1493
而从generative pre-training（生成式预训练）到discriminative fine-tuning（判别微调）的过程是一个对泛化特征进行面向任务的特化的过程。对于初始化过程，我们可以称自己的网络为目标网络，训练好的模型对应网络为源网络，要求目标网络待初始化的层要与源网络的层相同（层的名字、类型以及层的设置参数等等均相同）。往往可以得到比直接用自己数据训练更好的效果，这是因为在imagenet上预训练的模型参数从微调一开始就处于一个较好的位置，这样微调能够。（从已训练好的模型中获得）
Llama2-Chinese项目：3.1-全量参数微调
NLP工程化
10-01 1484
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv。
AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调
寻道码路，探索编程之路的无限可能。
05-06 7670
在自然语言处理（NLP）领域，预训练模型的应用已经越来越广泛。预训练模型通过大规模的无监督学习，能够捕捉到丰富的语言知识和上下文信息。然而，由于预训练模型通常需要大量的计算资源和时间进行训练，因此在实际使用时，我们往往需要对预训练模型进行微调，以便更好地适应特定的任务需求。本文将介绍全量参数微调的方法，以及如何在实践中进行操作。
大模型算法岗面试题系列（十八）| 如果想要在某个模型基础上做全参数微调，究竟需要多少显存?
最新发布
Code1994的博客
08-05 642
全参数微调意味着在预训练模型的基础上，调整所有参数以适应特定的任务或数据集。所需显存量取决于多个因素，包括模型的大小、批量大小、优化算法以及使用的硬件等。这是一个非常大的数字，实际上，我们还需要考虑其他因素，如优化器状态、激活和中间层存储等，这将使实际需求的显存更大。此外，现代GPU通常没有这么多显存，因此可能需要采用减小批量大小、使用模型并行化、分布式训练或混合精度训练等策略来适应硬件限制。
大模型全量微调和 LoRA 微调：一看就懂
xiangxueerfei的博客
07-08 1965
最后我们做一个总结，首先全量微调就是针对于这些每个参数的学习，就是我要通过学习的方法，把这里的每个参数都要一个一个的要把它算出来。那相反，在LoRA的模式下，我们实际上要得出来的是这个矩阵，但是我们学习的方法是用于学习这两个矩阵来替代它。然后这两个矩阵所占用的参数的数量要比它要小很多，所以就会节省非常多的资源。
再看大模型Lora微调加速是否有效：Full-Parameter全参数微调与LoRA低秩微调的性能对比开源实验介绍...
zenRRan的博客
04-23 3905
来自：老刘说NLP进NLP群—>加入NLP交流群近年来，大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。由于资源和成本的限制，一些研究人员采用了参数有效的调整技术，如LoRA，并取得了不错的结果。与全参数微调相比，基于LoRA的微调在训练成本方面表现出显著的优势。针对这类问题，本文介绍一篇关于全监督微调和lora微调的对比评估工作：该工作主要对比了全参数微调和Lora微调的对比，...
[技术杂谈]什么是全量参数微调
FL1623863129的博客
09-21 1922
高效微调，State-of-the-art Parameter-Efficient Fine- Tuning (SOTA PEFT)，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法，比如lora微调、Prefix-Tuning、Prompt Tuning、P-Tuning v2等方法；在llama2-chinese里面有个全量参数微调概念，那么这个是什么意思？
大模型全参数微调实战（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
07-08 705
微调框架使用的是，每张卡80G显存，，**数据盘50G,系统盘30G.**8B模型磁盘占用带下大概是20G.微调完的模型磁盘占用大小是35G左右。全参数微调占用的显存大概是lora参数微调的10倍+，一定要预留足够的显存，防止出现显存不够的问题。就我目前的数据集的实验结果，全参数微调跟lora微调相比，效果差不多，可能是数据集比较少的原因，后续会增加更多更好高质量的数据集和优化微调参数进行更多的验证。耗时方面跟lora微调差不多。因为全参数微调使用了超10倍的显存，成本较高。
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 1485
参考。
【通义千问】大模型Qwen GitHub开源工程学习笔记（5）-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】
weixin_46481662的博客
01-07 2561
注意，如果你使用预训练模型进行LoRA微调，而非chat模型，模型的embedding和输出层的参数将被设为可训练的参数。秩分解矩阵可以看作是一种特殊的调料，它可以改变模型的行为，使模型更好地适应新的任务，但并不会改变原有的食材（即预训练模型的权重）。相比之下，LoRA将预训练模型的权重冻结，并在转换器架构的每一层注入可训练的秩分解矩阵。这意味着在这种方法中，原始的预训练权重 W 是固定的，不会在后续的训练过程中进行更新，而是只对 A 和 B 进行训练。在全参数微调中，所有的模型参数都会被重新训练。
【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
AI天才研究院
03-11 1223
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
LLM参数高效微调（LORA,QLORA）
qq_43814415的博客
03-24 1655
这个通路包含两个矩阵：( A )实现降维，而( B )完成升维，它们的乘积表达了模型的“本征秩”（intrinsic rank），即更新中保留的核心信息。此外，它也更容易过拟合，尤其是在小数据集上。QLoRA的创新之处在于它显著减少了内存的使用，使得可以在单个48GB的GPU上微调一个有650亿参数的模型，同时保持16比特微调的性能。因此，通过采用参数高效微调技术，如适配器、LoRA或提示微调，可以在保持预训练模型大部分权重不变的情况下，仅对一小部分参数进行微调，从而大大减少计算资源和训练时间的需求。
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
热门推荐
丨汀、的博客
07-16 2万+
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
与全参数微调相比，LoRA微调的性能到底如何？
Paper weekly
07-12 85
大模型技术的发展和迭代2024年已经可以按天来计算了，几乎每天都有新的大模型和技术登场，从基座模型Mamba2，Jamaba，到Dora，LoftQ，GaLore等最新的微调技术；KTO，IPO，SimPO等微调技术；再到GPTQ，SmoothQuant，AWQ，GGUF等量化技术。大模型全链路的技术的迭代日新月异。您是否有感觉自己的技术能力以及学习步伐有点跟不上技术的发展？或者对这些新兴技术的理...
NLP学习总结｜SFT微调方法之一：LoRA微调
weixin_52309665的博客
04-23 2331
矩阵的秩（rank）分为行秩和列秩，行秩指的是矩阵的线性无关的行的个数，列秩同理。因为一个矩阵的行秩和列秩总是相等的，因此它们统一被叫做矩阵的秩。
基于消费级显卡的Galore全参数微调训练--基于LLaMA-Factory
WaKuWuku的博客
06-25 648
前段时间Galore算法的发布让7B系列的模型从需要60G显存才能全量微调，降低到可以在RTX4090的消费级显卡上可以全量微调，在Galore发布不久之后，LLaMA-Factory就同步更新了这个项目的LLaMA-Board，并支持Galore全参数微调的sft，而不是仅仅使用lora微调。本文介绍如何快速上手进行Galore支持的全参数微调。
【AIGC】俗解读大模型微调(Fine Tuning)，包括全量微调和轻量化微调
Code_LT的博客
05-22 2887
开始之前，为了方便大家理解，我们先对大模型做一个直观的抽象。本质上，现在的大模型要解决的问题，就是一个序列数据转换的问题：输入序列Xx1x2xmXx1​x2​...xm​， 输出序列Yy1y2ynYy1​y2​yn​XXX和YYYYWXY = WXYWX。我们所说的“大模型”这个词：“大”是指用于训练模型的参数非常多，多达千亿、万亿；而“模型”指的就是上述公式中的矩阵WWW。
全参数微调和lora微调介绍
06-27
全参数微调（Full Parameter Tuning）和LoRa微调是两个不同的概念，它们分别对应于机器学习和无线通信技术领域。 1. 全参数微调： 在机器学习中，全参数微调通常指的是在预训练模型的基础上，对模型的所有参数进行全面调整的过程。这通常发生在模型应用于特定任务或数据集之前，目的是根据新任务的特点优化模型性能。在微调过程中，模型原有的结构保持不变，只对模型参数进行重新学习，以便更好地适应新的输入和标签分布。全参数微调常用于迁移学习，特别是针对小型数据集的情况。 2. LoRa微调： LoRa是Long Range（长距离）的缩写，它是一种专为物联网设计的低功耗、远距离无线通信技术。LoRa微调并不是机器学习的概念，而是指在部署LoRa网络时，可能对设备的参数进行微调，比如信道频率、数据速率、扩频因子等，以优化网络覆盖、减少干扰或提高通信效率。这种微调通常是在硬件层面进行的，而非针对软件模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值