理解Lora微调只需一个公式

最新推荐文章于 2025-03-23 20:58:54 发布

小马不会过河

最新推荐文章于 2025-03-23 20:58:54 发布

阅读量3.6k

点赞数 15

文章标签：人工智能金融 AI AI大模型 AIGC

本文链接：https://blog.csdn.net/m0_59163425/article/details/139182670

版权

Lora（Low-Rank Adaptation）是一种新的模型微调技术[1].，通过在预训练模型的基础上引入低秩矩阵，实现高效、快速的模型适配。Lora在保持预训练模型性能的同时，大大减少了微调所需的计算资源和存储空间，使得在资源有限的情况下也能够进行高质量的模型微调。

一、前置知识

1.什么是微调，为什么要微调

微调(Fine-tuning)是指在一个已经训练好的模型基础上,针对新的任务或数据,进行少量的训练,以适应新的需求。例如,OpenAI开发的大语言模型ChatGPT,经过在海量对话数据上的预训练,具备了强大的语言理解和生成能力。但如果我们想将ChatGPT应用于特定领域,如医疗、法律或金融,可能需要在相关领域的数据上进行微调。通过微调,ChatGPT可以快速适应特定领域的术语、写作风格和知识,生成更加准确、专业的回复。微调后的ChatGPT模型,可以更好地服务于特定领域的应用,如医疗咨询、法律问答、金融分析等。

2.矩阵的秩的概念讲解

在线性代数中，矩阵的秩（Rank）是指矩阵中线性无关的行或列的最大数目。一个矩阵的秩不会超过其行数或列数的最小值。秩反映了矩阵的信息量和独立性。例如，考虑以下两个矩阵：

A = [1 2; 3 4], rank(A) = 2

B = [1 2; 2 4], rank(B) = 1

矩阵A的两行（或两列）线性无关，所以其秩为2；而矩阵B的第二行是第一行的两倍，所以其秩为1。低秩矩阵意味着矩阵中存在较多线性相关的行或列，即矩阵的信息冗余度高。

3.权重矩阵的变化是低秩的假设

Lora微调的核心假设是，在微调过程中，权重矩阵的变化是低秩的。这意味着，尽管原始的权重矩阵可能是高维、复杂的，但在微调时，权重矩阵的变化可以用一个低秩矩阵来近似表示。例如，假设原始权重矩阵W0的维度为1000×1000，在微调时，我们可以引入两个50×1000的低秩矩阵A和B，它们的乘积BA（50×50）可以近似表示W的变化。这里的50即是秩的可能最大值。这个假设减少了需要学习的参数数量，提高了微调的效率。

二、公式讲解

为了更好地理解Lora微调的数学原理,让我们首先看一下这张图片(图1)

在这里插入图片描述

这张图片展示了Lora微调的重新参数化过程。在这个过程中,我们只训练低秩矩阵A和B,而保持预训练权重矩阵W不变。

图片的左侧显示了预训练权重矩阵W的维度信息:W ∈ Rd×d,即W是一个d×d的方阵。这个矩阵表示原始模型中的权重。

图片的右侧展示了Lora微调中引入的两个低秩矩阵A和B:

在这里插入图片描述

W是原预训练模型中的权重矩阵,在适应过程中保持冻结,不进行训练和更新。它的形状为d×k。
A是一个可训练的矩阵,形状为r×k,其中r<<min(d,k)称为LoRA的最大秩。A使用随机高斯分布进行初始化,其元素由均值为0的高斯分布采样得到。
B也是一个可训练的矩阵,形状为d×r。B在初始化时为全0矩阵。

基于这种重新参数化，Lora微调的数学表达可以用以下公式表示：

在这里插入图片描述

W0表示预训练的权重矩阵，ΔW表示微调时的参数更新。 LoRA 限制权重更新，使得ΔW = BA
W0x表示原始的前向传播过程,即输入x通过权重矩阵W0得到输出。例如,在语言模型中,x可以是词嵌入向量,W0是词嵌入层到隐藏层的权重矩阵。
BAx表示微调过程引入的修正项,A和B是两个低秩矩阵,它们的乘积BA表示对原始权重矩阵W的修正。例如,如果W的维度是1000×1000,A和B的维度分别是50×1000和1000×50,则BA的维度是50×50。
(W0 + BA)x表示将原始权重矩阵W和修正项BA相加,得到微调后的权重矩阵,再与输入x相乘,得到最终的输出h。

通过这种重新参数化,Lora微调可以在保持预训练权重不变的情况下,通过学习低秩矩阵BA来适应新的任务。这样可以大大减少需要训练的参数数量,提高微调的效率。同时,由于矩阵W0是预训练的，,并在训练过程中保持不变,因此可以进一步降低计算和存储成本。

通过引入低秩矩阵A和B,并采用重新参数化的方式,Lora微调可以在保持原始模型结构不变的情况下,通过少量参数的学习,实现模型的快速适配。

总结

通过上述讨论和示例，我们可以看到LoRA微调技术不仅有效地利用了预训练模型的强大能力，同时通过引入低秩更新，实现了对新任务的快速适应。这一过程通过一个简洁的公式h = (W0+ BA)x被优雅地描述，展现了深度学习模型微调的潜力和效率。通过这种方式，我们可以在不牺牲模型性能的前提下，快速地将预训练的智能应用到广泛的新领域和任务中。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述