【论文阅读】LoRA Meets Dropout under a Unified Framework

总体概要

本文探讨了在大型语言模型（LLMs）的参数高效微调（PEFT）中，LoRA方法与传统dropout技术之间的潜在矛盾。研究发现，尽管LoRA通过限制可训练参数的数量来减少过拟合，但它仍然容易受到过拟合的影响。通过数学和实证分析，文章揭示了现有dropout方法如DropKey、DropAttention和HiddenCut之间的等价性和差异性，并提出了一种统一的框架，用于在LoRA背景下评估和比较这些方法。基于此框架，文章提出了一种新的dropout方法——HiddenKey，它在多个模型和任务中展现出优越的性能，特别是在自然语言理解和生成任务中。文章强调，HiddenKey是解决LLMs在PEFT中过拟合问题的首选方法，为高性能和参数高效的微调提供了新的视角。

核心要点

1. LoRA与Dropout的统一框架探索：

   • 文章提出了LoRA（低秩适应）与传统Dropout方法在大型语言模型（LLMs）参数高效微调（PEFT）背景下的统一框架，旨在解决LoRA有限的训练参数与Dropout缓解过度拟合之间的潜在矛盾。

2. LoRA的过度拟合倾向确认：

   • 通过实验验证，即使在有限的训练参数下，LoRA仍然容易出现过拟合现象，这表明即使在小规模的参数调整中，模型仍需防止过拟合的策略。

3. Transformer特定Dropout方法的理论与实证比较：

   • 文章对比了DropKey、DropAttention和HiddenCut等Transformer特定的Dropout方法，揭示了它们在前向传播过程中的数学等价性和在后向传播中的差异，特别是在DropAttention中引入的梯度噪声问题。

4. 统一框架下的方法实例化与偏好发现：

   • 基于比较分析，文章提出了一个统一框架，通过该框架发现了在LoRA场景下这些Dropout方法的新偏好，例如跨度式HiddenCut不再优于元素式，以及DropKey表现最佳而DropAttention表现最差。

5. 新型Dropout方法HiddenKey的提出与验证：

   • 文章在统一框架指导下提出了名为HiddenKey的新型Dropout方法，该方法在多个模型和任务上展现出卓越的性能，填补了Dropout方法在自然语言生成（NLG）任务中效果研究的空白。

6. 实验结果与性能比较：

   • 通过广泛的实验，HiddenKey在多个模型和任务上均表现出优异的性能，证明了其在减轻LoRA过拟合倾向方面的有效性和充分性。

7. 贡献总结：

   • 文章的主要贡献包括首次全面调查了LoRA与Dropout方法之间的潜在矛盾，理论和实证比较了三种典型的Transformer特定Dropout方法，提出了一个统一框架以实例化现有方法并发现新偏好，以及设计了一种新型Dropout方法HiddenKey，展现了其在高

段落概要

Introduction

本文探讨了在大型语言模型（LLMs）的参数高效微调（PEFT）中，尤其是LoRA方法，与传统用于减少参数冗余和防止过拟合的dropout方法之间的潜在矛盾。研究发现，尽管LoRA通过限制可训练参数数量来提高效率，但它仍容易出现过拟合问题。通过数学和实证分析，文章揭示了不同dropout方法在LoRA框架下的等价性和差异性，并提出了一个统一的框架，用于比较和整合这些方法。基于此框架，文章提出了一种名为HiddenKey的新型dropout方法，该方法在多个模型和任务中展现出优越的性能，特别是在自然语言理解和生成任务中，强调了其在高性能和参数高效微调LLMs中的应用潜力。

Preliminaries

文章的“Preliminaries”部分回顾了三种针对Transformer模型的特定dropout方法：DropAttention、DropKey和HiddenCut。DropAttention通过随机屏蔽注意力权重的元素或键列，鼓励使用多个上下文化特征而非过度拟合特定模式。DropKey采用dropout-before-softmax方案，以注意力对数gj为基本单元，后续的softmax确保权重和为1，因此不需要重新缩放。HiddenCut则专注于防止前馈模块中隐藏表示的共适应，其核心思想是切割单个连续的跨度，可能包含更多语义信息且更难恢复，同时应用JS损失以鼓励扰动表示尽可能接近推理中的表示。这些方法为后续分析奠定了基础。

Method

文章的Method部分首先对现有的Transformer模型特定dropout方法进行了比较分析，包括DropKey、DropAttention和HiddenCut，并基于它们的相似性和差异性，提出了一个统一的dropout方法设计框架。该框架考虑了dropout的三个关键维度：dropping position（drop的位置）、structural pattern（drop的模式）和compensation measure（训练与推理间的补偿措施）。基于这一框架，文章提出了一种新的dropout方法——HiddenKey，它通过在attention机制中列式drop attention logits，在feed-forward模块中元素式drop hidden representations，并引入双向KL损失来减少训练和推理之间的差距。实验部分展示了HiddenKey在多种任务和模型上的优越性能。

Experiments

文章的实验部分展示了在多个自然语言处理（NLP）任务和模型上，通过引入名为HiddenKey的新型dropout方法，有效缓解了LoRA（Low-Rank Adaptation）模型在有限训练参数下的过拟合问题。实验涵盖了从RoBERTa-large到LLaMA2-7B等多种模型，以及包括GLUE基准数据集和NLG任务在内的广泛任务。结果表明，HiddenKey在各项任务中均优于基线方法，显著提升了模型性能。此外，实验还探讨了dropout的不同位置、结构模式及其补偿措施对模型性能的影响，并验证了KL损失在缩小训练与推理阶段差距方面的有效性。最终，HiddenKey被证实为在LoRA场景下缓解过拟合问题的推荐dropout方法。

Conclusion

文章结论部分的核心要点是：研究揭示了LoRA（Low-Rank Adaptation）在有限可训练参数下可能导致的过度拟合问题，并通过理论和实证分析现有dropout方法，提出了一种新的dropout方法——HiddenKey。HiddenKey在多个模型和数据集上表现出色，被推荐作为减轻LoRA场景中过度拟合问题的首选dropout方法。此外，文章也指出了HiddenKey引入的双向Kullback-Leibler（KL）散度损失可能导致训练时间延长，但通过并行化等方法可以减少这一影响。