Full-Parameter全参数微调与LoRA低秩微调

近年来，大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。
由于资源和成本的限制，一些研究人员采用了参数有效的调整技术，如LoRA，并取得了不错的结果。与全参数微调相比，基于LoRA的微调在训练成本方面表现出显著的优势。针对这类问题，本文介绍一篇关于全监督微调和lora微调的对比评估工作：

该工作主要对比了全参数微调和Lora微调的对比，这对后续SFT模型微调有一定的参考意义。具体地，该工作利用LLaMA作为基本模型，对全参数微调和基于LoRA的微调方法进行了实验比较，实验结果表明，基础模型的选择、训练数据集规模、可学习参数数量和模型训练成本都是重要因素。供大家一起参考。

一、工作背景

目前，有几个开源的大型语言模型已经对教学数据进行了微调，包括OPT（Zhang等人，2022）、BLOOM（Workshop等人，2022。这些模型在一系列语言任务中表现出了卓越的性能，从而强调了指令微调在提高语言模型性能方面的潜在好处。

在