4.大模型微调技术LoRA

大模型低秩适配（LoRA）技术

现有PEFT 方法的局限与挑战

• Adapter方法，通过增加模型深度而额外增加了模型推理延时。
• Prompt Tuning、Prefix Tuning、P-Tuning等方法中的提示较难训练，同时缩短了模型可用的序列长度。
• 往往难以同时实现高效率和高质量，效果通常不及完全微调（full-finetuning）。
• 简而言之，尽管大模型参数规模巨大，但关键作用通常是由其中的低秩本质维度（lowintrinsic dimension）发挥的。
• 受此启发，微软提出了低秩适配（LoRA）方法，设计了特定结构，在涉及矩阵乘法的模块中引入两个低秩矩阵A和B以模拟完全微调过程。这相当于只对语言模型中起关键作用的低秩本质维度进行更新。

LoRA: 小模型有大智慧(2021)

为了使微调更加高效，LoRA的方法是通过低秩分解将权重更新表示为两个较小的矩阵（称为更新矩阵）。这些新矩阵可以在适应新数据的同时保持整体变化数量较少进行训练。<