本文是LLM系列文章,针对《DELTA-LORA: FINE-TUNING HIGH-RANK PARAMETERS WITH THE DELTA OF LOW-RANK MATRICES》的翻译。
DELTA-LORA:用低秩矩阵的DELTA微调高秩参数
摘要
在本文中,我们提出了Delta-LoRA,这是一种新的参数有效的方法来微调大型语言模型(LLM)。与LoRA和其他低秩自适应方法(如AdaLoRA)相比,Delta-LoRA不仅更新低秩矩阵A和B,而且通过利用两个低秩矩阵 ( A ( t + 1 ) B ( t + 1 ) −