大模型微调5种方法你想知道的都在这里了

最新推荐文章于 2024-08-19 11:01:49 发布

Python程序员罗宾

最新推荐文章于 2024-08-19 11:01:49 发布

阅读量495

点赞数 5

文章标签：人工智能机器学习深度学习

本文链接：https://blog.csdn.net/aolan123/article/details/140896405

版权

1、LoRA

LoRA (Low-Rank Adaptation)是一种旨在微调大型预训练语言模型(如GPT-3或BERT)的技术。其核心理念在于，在模型的决定性层次中引入小型、低秩的矩阵来实现模型行为的微调，而无需对整个模型结构进行大幅度修改。

这种方法的优势在于，在不显著增加额外计算负担的前提下，能够有效地微调模型，同时保留模型原有的性能水准。

LoRA的操作流程如下:

1，确定微调目标权重矩阵:首先在大型模型(例如GPT)中识别出需要微调的权重矩阵，这些矩阵一般位于模型的多头自注意力和前馈神经网络部分。

2，引入两个低秩矩阵:然后，引入两个维度较小的低秩矩阵A和B。假设原始权重矩阵的尺寸为dd，则A和B的尺寸可能为dr和r*d，其中r远小于d。

3，计算低秩更新:通过这两个低秩矩阵的乘积AB来生成一个

新矩阵，其秩(即r)远小于原始权重矩阵的秩。这个乘积实际

上是对原始权重矩阵的一种低秩近似调整。

4，结合原始权重:

最终，新生成的低秩矩阵AB被叠加到原始权重矩阵上。因此，原始权重经过了微调，但大部分权重维持不变。这个过程可以用数学表达式描述为:新权重=原始权重+ AB。

2、QLoRA

QLoRA (Quantized Low-Rank Adaptation)是一种结合了LoRA (Low-Rank Adaptation)方法与深度量化技术的高效模型微调手段。

QLoRA的核心在于:

1,量化技术:QLoRA采用创新的技术将预训练模型量化为4位。这一技术包括低精度存储数据类型(4-bit NormalFloat，简称NF4)和计算数据类型(16-bitBrainFloat)。这种做法极大地减少了模型存储需求，同时保持了模型精度的最小损失。

2,量化操作:在4位量化中，每个权重由4个比特表示，量化过程中需选择最重要的值并将它们映射到16个可能的值之一。首先确定量化范围(例如-1到1)，然后将这个范围分成16个区间，每个区间对应一个4-bit值。然后，原始的32位浮点数值将映射到最近的量化区间值上。

3,微调阶段:在训练期间，QLoRA先以4-bit格式加载模型，训练时将数值反量化到bf16进行训练，这样大幅减少了训练所需的显存。例如，33B的LLaMA模型可以在24GB的显卡上进行训练。

量化过程的挑战在于设计合适的映射和量化策略，以最小化精度损失对性能的影响。在大型模型中，这种方法可以显著减少内存和计算需求，使得在资源有限的环境下部署和训练成为可能。

3、适配器调整(Adapter Tuning)

与LoRA技术类似，适配器调整的目标是在保留预训练模型原始参数不变的前提下，使模型能够适应新的任务。适配器调整的方法是在模型的每个层或选定层之间插入小型神经网络模块，称为“适配器”。这些适配器是可训练的，而原始模型的参数则保持不变。

适配器调整的关键步骤包括:

1,以预训练模型为基础:初始阶段，我们拥有一个已经经过预训练的大型模型，如BERT或GPT，该模型已经学习了丰富的语言特征和模式。

2,插入适配器:在预训练模型的每个层或指定层中，我们插入适配器。适配器是小型的神经网络，一般包含少量层次，并且参数规模相对较小。

3,维持预训练参数不变:在微调过程中，原有的预训练模型参数保持不变。我们不直接调整这些参数，而是专注于适配器的参数训练。

4,训练适配器:适配器的参数会根据特定任务的数据进行训练，使适配器能够学习如何根据任务调整模型的行为。

5,针对任务的调整:通过这种方式，模型能够对每个特定任务进行微调，同时不影响模型其他部分的通用性能。适配器有助于模型更好地理解和处理与特定任务相关的特殊模式和数据。

6,高效与灵活:由于只有部分参数被调整，适配器调整方法相比于全模型微调更为高效，并且允许模型迅速适应新任务。

4、前缀调整(Prefix Tuning)

与传统的微调范式不同，前缀调整提出了一种新的策略，即在预训练的语言模型(LM)输入序列前添加可训练、任务特定的前缀，从而实现针对不同任务的微调。这意味着我们可以为不同任务保存不同的前缀，而不是为每个任务保存一整套微调后的模型权重，从而节省了大量的存储空间和微调成本。

前缀实际上是一种连续可微的虚拟标记(Soft Prompt/Continuous Prompt)，与离散的Token相比，它们更易于优化并且效果更佳。这种方法的优势在于不需要调整模型的所有权重，而是通过在输入中添加前缀来调整模型的行为，从而节省大量的计算资源，同时使得单一模型能够适应多种不同的任务。前缀可以是固定的(即手动设计的静态提示)或可训练的即模型在训练过程中学习的动态提示)。

5、提示调整(Prompt Tuning)

提示调整是一种在预训练语言模型输入中引入可学习嵌入向量作为提示的微调方法。这些可训练的提示向量在训练过程中更新，以指导模型输出更适合特定任务的响应。提示调整与前缀调整都涉及在输入数据中添加可学习的向量，这些向量是在输入层添加的，但两者的策略和目的不同:

1,提示调整:旨在模仿自然语言中的提示形式，将可学习向量(通常称为提示标记)设计为模型针对特定任务生成特定类型输出的引导。这些向量通常被视为任务指导信息的一部分，倾向于使用较少的向量来模仿传统的自然语言提示。

2,前缀调整:可学习前缀更多地用于提供输入数据的直接上下文信息，作为模型内部表示的一部分，可以影响整个模型的行为。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：