谷歌：LLM微调结合上下文学习

📖标题：On the generalization of language models from in-context learning and finetuning: a controlled study
🌐来源：arXiv, 2505.00661

🌟摘要

🔸大型语言模型展现出令人兴奋的能力，但也可以从微调中表现出令人惊讶的狭隘泛化——从无法泛化到训练关系的简单反转，再到缺少可以从训练信息中得出的逻辑推论。这些从微调中概括的失败可能会阻碍这些模型的实际应用。然而，语言模型在语境学习中表现出不同的归纳偏差，在某些情况下可以更好地概括。
🔸在这里，我们探讨了基于上下文和微调的学习在泛化方面的这些差异。为此，我们构建了几个新的数据集来评估和提高模型从微调数据中泛化的能力。构建数据集是为了将数据集中的知识与预训练中的知识隔离开来，以创建干净的泛化测试。我们将预训练的大型模型暴露给这些数据集中的受控信息子集——无论是在上下文中还是通过微调——并评估它们在需要各种泛化的测试集上的性能。
🔸总体而言，我们发现，在数据匹配的环境中，上下文学习可以比微调更灵活地进行泛化（尽管我们也发现了一些先前发现的限定条件，例如微调可以泛化到更大知识结构中嵌入的反转的情况）。我们在这些发现的基础上提出了一种从微调中改进泛化的方法：在微调数据时添加上下文推理。我们表明，这种方法提高了我们数据集和其他基准的各种分割的泛化能力。我们的研究结果对于理解语言模型中不同学习模式的归纳偏见，以及实际提高其表现具有重要意义。

🛎️文章简介

🔸研究问题：预训练语言模型在上下文学习与微调过程中展现出不同的泛化模式。
🔸主要贡献：论文提出通过数据增强的方法来改善微调的泛化能力，并展示了上下文学习在多种情况下的泛化效果优于微调。

📝重点思路

🔸研究了预训练语言模型在上下文学习（ICL）和微调（SFT）中的泛化能力，发现上下文学习在系统性保持的任务上通常表现更好。
🔸提出了数据增强的方法，通过在上下文中生成数据增强实例并将其加入训练集中，以提高微调的效果。
🔸设计了控制性合成数据集，评估模型对不同类型泛化任务（如反转、联结推理等）的表现。
🔸采用全数据集的上下文评估，来测试模型在大规模数据集上的表现。
🔸通过句子拆分的方法提升微调效果，将多个句子拆分为独立训练示例。

🔎分析总结

🔸实验结果表明，在许多数据集上，上下文学习的泛化能力普遍优于微调，而通过数据增强的方法可以显著改善微调的表现。
🔸在简单的反转任务中，上下文学习相比微调仍然显示出一定的优势，而增强微调则表现得更为出色。
🔸在语义结构基准测试中，上下文学习在对训练数据的重新表述、反转和推理等任务中均表现优异，且数据增强显著提升了微调的效果。
🔸发现虽然微调在某些复杂结构知识的任务中能够实现一定程度的泛化，但上下文学习和增强微调的表现仍然更为显著。

💡个人观点

论文的创新点在于通过结合上下文学习与数据增强的方法，提出了一种新的思路来提升语言模型在微调过程中的泛化能力。

🧩附录