STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language

本文是LLM系列文章，针对《STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models》的翻译。

摘要

尽管大型语言模型（LLMs）已经通过提示方法证明了小样本学习的强大能力，但对于复杂的推理任务来说，监督训练仍然是必要的。由于其广泛的参数和内存消耗，已经为LLM提出了参数高效微调（PEFT）方法和内存高效微调方法。然而，大注释数据消耗问题，即数据高效微调的目标，仍未得到探索。一个明显的方法是将PEFT方法与主动学习相结合。然而，实验结果表明，这种组合并非微不足道，并会产生较差的结果。通过探针实验，这种观察可能有两个主要原因：不确定性差距和模型校准不佳。因此，在本文中，我们提出了一种新的方法来有效地整合基于不确定性的主动学习和低秩自适应（LoRA）。具体来说，对于不确定性差距，我们引入了一种动态不确定性度量，该度量结合了主动学习迭代过程中基础模型的不确定性和完整模型的不确定度。对于较差的模型校准，我们在LoRA训练过程中采用正则化方法来防止模型过于自信，并采用蒙特卡洛丢弃机制来增强不确定性估计。实验结果表明，该方法在三个复杂的推理任务上优于现有的基线模型。</