LoRA微调方法理解

最新推荐文章于 2025-03-27 11:29:18 发布
最新推荐文章于 2025-03-27 11:29:18 发布
阅读量853 收藏 20
点赞数 24
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012374012/article/details/140379989
版权

        最近和大模型一起爆火的，还有大模型的微调方法。这类方法只用很少的数据，就能让大模型在原本表现没那么好的下游任务中“脱颖而出”，成为这个任务的专家。而其中最火的大模型微调方法，又要属LoRA。

1.LoRA简介

1.1 LoRA简介

        先从最近大火的LoRA（《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGEMODELS》）说起。

        该文章在ICLR2022中提出，说的是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

        LoRA是怎么去微调适配下游任务的？

        流程很简单，LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。

        而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。

        LoRA的示意图如下：

        图中蓝色部分为预训练好的模型参数，LoRA在预训练好的模型结构旁边加入了A和

最低0.47元/天 解锁文章
cv2016_DL
关注
ChatGLM LoRA微调实战方案
herosunly的博客
04-28 17万+
本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理
模型全参数训练和LoRA微调所需显存的分析
热门推荐
herosunly的博客
05-05 20万+
本文介绍模型全参数训练和LoRA微调所需显存的分析，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 全参数训练 3. LoRA微调
大白话之lora微调
qq_40909212的博客
12-26 1626
大白话之lora
【语言大模型微调】LoRA — 尖端的大模型微调技术
qq_45752541的博客
07-23 7411
讨论了微调的概念，以及LoRA如何将微调视为学习参数变化，而不是迭代学习新参数。我们学习了线性独立性和秩，以及由于大多数权重矩阵的秩较低，变化矩阵可以用小因子表示。我们将所有内容整合在一起，逐步介绍了LoRA，然后使用HuggingFace PEFT模块在问答任务中实现了LoRA
LORA轻量级微调DeepSeek（浅析）
2401_85375186的博客
03-04 2100
LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。
LoRA微调
不负热爱
04-14 1162
LoRA论文阅读理解
大规模语言模型高效参数微调--LoRA 微调系列
Hanscal
10-09 3108
前面提到， Adapter Tuning 存在训练和推理延迟， Prefix Tuning 难训且会减少原始训练数据中的有效文 字长度， 那是否有一种微调办法， 能改善这些不足呢， 在这样的动机驱动下， 有研究者提出了 LoRA(论文：LoRA: Low-Rank Adaptation of Large Language Models) ，LoRA 是 Low-Rank Adaptation 的简写， 它冻结了预先训练好的 模型权重， 通过低秩分解来模拟参数的改变量， 大大减少了下游任务的可训练参数的数量，
深度学习：lora微调
qq_41298763的博客
10-27 2744
正常神经网络：输入x -> 全连接层（w） -> 输出y，训练时输入x，y数据来更新参数w，使得loss最小，w达到最优。但在大模型中，参数量都是几十几百亿的没计算量极大，在进行梯度计算时，内存硬件都无法支持。LoRA 的基本原理是冻结预训练好的模型权重参数，在冻结原模型参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。r + d*r，并且r
使用LoRA微调qwen模型优化模型推理效果
10-12
无论是对于从事人工智能研究的专业人员，还是对于刚接触模型微调的初学者，本资源都提供了一个很好的起点，帮助他们快速理解和掌握LoRA微调技术，有效地优化模型的推理效果。通过这份资源，用户可以更容易地将先进的...
大模型LoRA微调-基于ChatGLM3-6B模型的LoRA方法微调实现-附项目源码+流程教程-优质项目实战.zip
10-16
大模型LoRA微调技术是一种先进的机器学习技术，它基于LoRA（Low-Rank Adaptation）方法对大型预训练语言模型进行微调。LoRA方法的核心思想是利用低秩结构来逼近参数矩阵的更新，从而在不显著增加模型参数数量的前提...
lora微调/(sft、lora、p-tuning、freeze四种典型微调方法)
Msc30839573的博客
03-30 3543
参考。
AI大模型底层技术——LoRA微调
最新发布
Arthur Guo 的专栏
03-27 1753
是一种针对大型预训练语言模型 (LLMs) 的高效微调技术。它旨在解决全参数微调所带来的计算和存储成本问题。冻结预训练模型的原始参数，并通过引入少量可训练的低秩矩阵来模拟参数更新。这样，在微调过程中，只需要优化这些低秩矩阵的参数，而不需要修改原始模型的参数，从而大大减少了需要训练的参数量。
LoRA微调：解锁大模型优化的低秩矩阵魔法,高效、快速且性能卓越的模型优化新思路
2302_80236633的博客
03-01 1064
矩阵的秩（Rank of a Matrix）是线性代数中的一个基本概念，它描述了矩阵中线性独立的行向量或列向量的最大数目。矩阵的秩是为了量化矩阵中的线性独立性。我们可以将一个矩阵分解为一些线性独立的向量；这种矩阵的形式被称为“行阶梯形式”。因此，矩阵可以包含一定程度的“重复信息”，即线性相关性。如果你有一个大矩阵，具有显著的线性相关性（因此秩较低），可以将该矩阵表示为两个相对较小的矩阵的乘积。这种分解的思想使得LoRA占用了如此小的内存空间。LoRA微调是一种高效且灵活的模型微调方法，特别适合在。
什么是LoRA微调
蓝羽飞鸟的博客
02-21 1310
lora微调原理
大模型LLM的微调技术：LoRA
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-30 3703
LoRA出自2021年的论文“LoRA: Low-Rank Adaptation of Large Language Models” LoRA技术冻结预训练模型的权重，并在每个Transformer块中注入可训练层（称为秩分解矩阵），即在模型的Linear层的旁边增加一个“旁支”A和B。其中，A将数据从d维降到r维，这个r是LoRA的秩，是一个重要的超参数；B将数据从r维升到d维，B部分的参数初始为0。模型训练结束后，需要将A+B部分的参数与原大模型的参数合并在一起使用。
NLP学习总结｜SFT微调方法之一：LoRA微调
weixin_52309665的博客
04-23 3260
矩阵的秩（rank）分为行秩和列秩，行秩指的是矩阵的线性无关的行的个数，列秩同理。因为一个矩阵的行秩和列秩总是相等的，因此它们统一被叫做矩阵的秩。
大语言模型Lora参数微调过程（附完整代码）
qq-1343330453
01-09 4412
大语言模型微调过程
AIGC｜FineTune工程之LoRa高效参数微调
在数字化道路无限探索
07-07 1100
打造自己的LLM
Lora微调
03-08
### Lora模型微调方法 #### 设置环境和准备资源 为了对Lora模型进行微调，需下载并准备好预训练模型以及所需的微调数据集。预训练模型可从Hugging Face Model Hub获取，而数据集则建议采用自定义的JSONL格式文件[^2]。 #### 配置训练参数 在开始微调之前，需要配置一系列用于控制训练过程的关键参数。这些参数决定了诸如批处理大小、梯度累积步数等重要方面： ```python from transformers import TrainingArguments args = TrainingArguments( output_dir="lora_finetuned_model", per_device_train_batch_size=8, gradient_accumulation_steps=4, logging_steps=10, num_train_epochs=3, save_strategy="epoch" ) ``` 此段代码展示了如何创建`TrainingArguments`对象来指定输出目录、每设备训练批次大小以及其他必要选项[^3]。 #### 数据预处理 对于输入到模型中的文本数据，通常需要将其转换成适合模型理解的形式。这一步骤涉及分词化操作，并可能还需要额外编码步骤以适应特定任务需求。具体实现取决于所使用的库和支持的功能。 #### 构建Trainer实例 一旦完成了上述准备工作，则可以通过构建`Trainer`类的一个新实例来进行实际的微调工作。这里会传入先前已设定好的参数集合及其他必要的组件，比如已经加载完毕的数据集与collator函数： ```python from transformers import Trainer, DataCollatorForSeq2Seq trainer = Trainer( args=args, model=lora_model, train_dataset=processed_training_data, tokenizer=tokenizer_used_for_lora, data_collator=DataCollatorForSeq2Seq(tokenizer_used_for_lora, padding=True), ) # 执行训练流程 trainer.train() ``` 这段Python脚本说明了怎样初始化一个`Trainer`对象并将它关联至具体的模型架构上；随后通过调用`.train()`方法启动整个训练循环。 #### 更新策略差异 值得注意的是，在Lora特有的调整过程中，虽然看起来像是常规意义上的迭代优化——即先执行前向传播计算预测值再依据误差反向修正权重——但实际上并没有直接改变原始网络层内的核心参数取值。相反，仅针对某些选定位置上的增量做适当调节，从而达到更高效且稳定的改进效果[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值