LORA的基本原理

已于 2024-01-11 16:43:50 修改
阅读量9.1k 收藏 131
点赞数 45
分类专栏： GPT大模型 nlp 算法 文章标签： 大模型 lora 自然语言处理 人工智能
于 2024-01-11 16:12:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TFATS/article/details/135528141
版权
本文介绍了LoRA（低秩适应）这一高效微调方法，通过低秩分解减少参数量和GPU资源消耗，同时保持推理效率。文章详细探讨了LoRA的基本原理，包括其在语言模型中的应用以及为何有效，特别是通过内在秩的概念解释了其优势和实现方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将介绍如下内容：

  • 什么是Lora
  • 高效微调的基本原理
  • LORA的实现方式
  • LORA为何有效？

一、什么是LoRA

LoRA 通常是指低秩分解（Low-Rank Decomposition）算法，是一种低资源微调大模型方法，论文如下: LoRA: Low-Rank Adaptation of Large Language Models。
使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推理耗时。

二、高效微调的基本原理

以语言模型为例，在微调过程中模型加载预训练参数 Φ 0 \Phi_0 Φ0​进行初始化,并通过最大化条件语言模型概率进行参数更新 Φ 0 \Phi_0 Φ0​+ Δ Φ \Delta\Phi ΔΦ，即：
在这里插入图片描述

这种微调方式主要的缺点是我们学习到的参数增量 Δ Φ \Delta\Phi ΔΦ的维度和预训练参数 Φ 0 \Phi_0 Φ0​是一致的，这种微调方式所需的资源很多，一般被称为full fine-tuing。
研究者认为能用更少的参数表示上述要学习的参数增量 Δ Φ \Delta\Phi ΔΦ= Δ Φ ( Θ ) \Delta\Phi(\Theta ) ΔΦ(Θ)，其中 ∣ Θ ∣ |\Theta| ∣Θ∣<< ∣ Φ 0 ∣ |\Phi_0| ∣Φ0​∣，原先寻找 Δ Φ \Delta\Phi

最低0.47元/天 解锁文章
lora微调的基本原理
强化学习曾小健
06-11 1841
前向传播使用调整后的参数矩阵 W′W'W′ 进行计算，以生成网络的输出。反向传播也基于调整后的参数矩阵 W′W'W′，计算损失函数相对于 W′W'W′ 的梯度，并通过这些梯度更新低秩矩阵 AAA 和 BBB。通过这种方式，LoRA微调能够在保持原始模型参数稳定的同时，仅通过少量参数的调整，实现对模型的有效微调。
使用LoRA进行高效微调：基本原理
数字人生
05-26 7511
选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
LoRA的原理简介
stingfire的博客
05-09 1万+
在文章开始前先澄清一个概念，需要区分形近的单词""（long range），这是一项通信技术。熟悉物联网行业的朋友相对会比较熟悉LoRa这项技术，因为有些设备比如电梯的控制就使用了这个技术进行本地数据和命令的传输。本文介绍的LoRA（最后两个字母大写），是Low-Rank Adaptation的缩写，Low-Rank来自于对权重矩阵的分解。LoRA技术通过将权重矩阵分解成低秩矩阵的乘积，降低了参数数目，进而达到减少硬件资源、加速微调进程的目的。
大模型高效微调-LoRA原理详解和训练过程深入分析
SHIDACSDN的博客
06-11 4985
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。 1.1 问题定义 LoRA与训练目标是解耦的，...
（2025|AIRI，LoRA 知识集成）在 LoRA 中可装入多少知识而不损害 LLM？
最新发布
qq_44681809的博客
03-06 865
本文进行 LoRA 微调，并控制新知识的数量，研究如何平衡新知识的引入与模型整体能力的保持。研究发现，混合已知与新知识的数据可获得最佳结果，但仍会导致模型在外部问答基准测试上的性能下降。
LoRA的工作原理
m0_59164304的博客
07-06 1439
LoRA，全称Low-Rank Adaptation，是一种高效的模型适应技术，主要用于对大型预训练模型进行微调。秩（Rank）在数学和线性代数中是一个重要的概念，具体来说，它描述了一个矩阵的某些特性。行秩：矩阵中最大线性无关行的数量。列秩：矩阵中最大线性无关列的数量。行秩和列秩在理论上总是相等的，因此通常直接称为矩阵的秩。换句话说，矩阵的秩是其行（或列）向量空间的维数。更正式地，如果一个矩阵 A 的秩是 r ，这意味着 A 中有 r 个线性无关的行（或列）。
LoRa无线通信设计(一)原理
热门推荐
jiangjunjie_2005的专栏
08-22 13万+
LoRa无线通信设计(一)原理 引言 1901年，古列尔默.马可尼把长波无线电信号从Cornwall（康沃尔，位于英国的西南部）跨过大西洋传送到3200公里之外的Newfoundland(加拿大的纽芬兰岛)，至此人类进入了无线通信时代。100多年来，无线技术的发展为人类带来了无线电、电视、移动电话和通信卫星。近20年，最让人们...
LoRa学习：LoRa通信调制解调的实现原理与性能
HowieXue 薛永浩的博客
09-18 3万+
LoRa学习：LoRa调制解调原理与性能 1、LoRa调制解调器原理 LoRa调制解调器采用专利扩频调制和前向纠错技术。与传统的FSK、OOK调制技术相比，LoRa扩大了无线通讯链路的覆盖范围（实现了远距离无线传输），提高了链路的鲁棒性。。 开发人员可调整扩频因子和纠错率这两个参数，从而平衡通讯时的带宽占用、通信速率、空中包的存活时间、以及抗干扰性等。。 LoRa调制解调器...
LORA原理图PCB.rar
11-10
在本文中，我们将深入探讨LoRa的基本原理、STM32L151微控制器的应用以及LoRa在远程开关锁系统中的实现。 首先，LoRa的核心在于其独特的Chirp Spread Spectrum（CSS）技术，这是一种线性调频扩频方式。CSS通过改变...
LoRa芯片1301 1308原理图以及PCB
09-07
这些知识点涵盖了无线通信的基本原理、射频设计、微电子学以及物联网应用等多个领域，对于从事LoRa相关开发的工程师来说，是必备的专业技能。通过深入学习和实践，可以有效提升设备的通信质量和稳定性。
大模型 LoRA 微调原理详解
AI Infra / LLM / 软件开发
11-13 1868
LoRA（Low-Rank Adaptation，低秩适配器）是目前非常热门的大模型微调技术之一，网上已经有许多关于其原理的分析和讲解，本文将着重从 LoRA 背后的数学原理进行解读。大模型微调（Fine-tuning）：基于已经训练好的预训练模型，针对特定的下游任务，在特定领域的数据集上进行二次训练，以提升模型在特定任务上的表现。全量微调：在下游任务的训练中，对预训练模型的每一个参数都做更新（训练代价昂贵）；局部微调。
深入浅出剖析 LoRA 技术原理
zengxiaojian2的博客
08-02 1585
总结一下，全参数微调太贵，Adapter Tuning存在训练和推理延迟，Prefix Tuning难训且会减少原始训练数据中的有效文字长度，那是否有一种微调办法，能改善这些不足呢？在这样动机的驱动下，作者提出了LoRA (Low-Rank Adaptation，低秩适配器)这样一种微调方法。我们先抛开对“低秩”、“适配器”这样抽象词语的解释，我们先来看LoRA长什么样，要怎么用。在下一节中，我们再来详细解释“低秩”作用的原理。
LoRA原理
2301_77554343的博客
11-24 2269
一个训练充分的矩阵，通常是满秩或者基本满足秩的，即矩阵中没有一列是多余的。假设R矩阵的形状为100×100，那么R的参数量为10000。当我们选取秩为10时，此时矩阵A的形状为100×10，矩阵B的形状为10×100，此时参数量为2000，比R矩阵少了80%。我们假定R矩阵是一个低秩矩阵，低秩矩阵有许多重复的列，因此可以分解为两个更小的矩阵。W通常指基础模型的参数，而W'是在基础模型的基础上，经过几次矩阵加减得到的。dW是一个矩阵，它会指向L上升最快的方向，但是我们的目的是让L下降，因此让W减去dW。
lora发射和接收原理_无线收发模块LoRa
weixin_30673759的博客
12-12 5698
LoRa是一种LPWAN通信技术，它基于扩频技术而广泛应用于超长距离的无线传输场景中。现在，LoRa主要在全世界433、868、915MHz等自由频带工作。其最大特征是灵敏度高，传输距离长，工作功耗低，网络节点多。NB-IoT正在积极发展，但LoRa技术在世界各地登录了业务项目，其技术成熟度已经处于领先地位。近年来，LoRa技术依然非常有用。本文简要介绍了LoRa技术的基本内容。一、LoRa低功耗...
lora发射和接收原理_LoRa 的扩频技术
weixin_42123237的博客
12-16 2873
LoRa 的扩频技术LoRa 是一种基于扩频的调制方式，通过扩频把信号扩展到带宽较宽的噪声中，获得扩频增益。扩频概念及原理 扩频通信(SSC)，即扩展频谱通信技术(SpreadSpectrumCommunication)，它的基本特点是其传输信息所用信号的带宽远大于信息本身的带宽。增加信号带宽可以降低对信噪比的要求，当带宽增加到一定程度，允许信噪比进一步降低。扩频通信就是用宽带传输技术来换取信噪比...
LoRA微调原理
sbh818289的博客
08-25 976
首先给出微调的定义，即在尽量不改变推理速度的前提下，使用少量数据就能使预训练大模型达到原始推理精度的90%以上，来实现各种下游任务的应用。也就是说，在进行大量推理阶段时，网络结构是不允许被修改的，这就是。确定一个数据集的本征维度一般使用主成成分分析（PCA），独立成分分析（ICA），多维缩放（MDS）等。本征维度低的模型，训练出来的模型准确率是更高的。预训练模型的表征能力越强（训练得越好），本征维度越小。这里B设置为0的原因：优化的开始阶段保证分支参数为0。模型越大本征维度越小，即越强的模型本征维度越低。
LoRA原理解析
Galen_xia的博客
06-09 863
LoRA 的全称是 “Low-Rank Adaption”， 看到 “low-rank”，线性代数玩家们应该会神经反射性地联系到低秩矩阵。你问我 LoRA 的中文名？就叫它“低秩(自)适应”吧，虽然英文里没有 “self”， 但根据 LoRA 的思想和做法及其带来的效果，它就是自适应的意思。作者在 paper 中提到：以往的一些工作表明，模型通常是“**过参数化”(over-parametrized)**的，它们在优化过程中参数更新的部分通常“驻扎”(reside)在低维子空间中。
lora无线通信基本原理
10-18
LoRa是一种长距离、低功耗的无线通信技术，它基于扩频通信原理，采用Chirp Spread Spectrum (CSS) 或者称为 chirp modulation 的方式工作。以下是LoRa的基本原理： 1. **扩频编码**：LoRa信号通过快速频率跳变（chirp），即在很短的时间内改变信号的频率，将数据信息“编码”到信号的不同频率点上，这样可以有效抵抗噪声干扰，提高信号的抗干扰能力和传输距离。 2. **线性调制**：每个数据位由一段特定频率序列组成，这种序列被称为chirp（声波）。不同的chirp代表不同的数据比特，使得信号的幅度保持恒定，降低了功耗。 3. **前向纠错**：LoRa通常配合前向错误纠正（FEC，Forward Error Correction）机制，如信道编码（如CRC校验等），可以在接收端检测并纠正部分错误，进一步保证数据的可靠性。 4. **功率控制**：LoRa允许终端设备动态调整发送功率，这有助于平衡传输距离和电池寿命。近距离通信时，功率较低，远距离通信则提高功率。 5. **物理层帧结构**：LoRa的数据包由固定的头部和用户数据组成，支持突发性和确认模式，允许高效地进行数据交互。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值