谷歌：元学习视角下的LLM上下文学习

📖标题：The broader spectrum of in-context learning
🌐来源：arXiv, 2412.03782

🌟摘要

🔸语言模型从上下文中的几个例子中学习任务的能力引起了人们的极大兴趣。在这里，我们提供了一个视角，将这种监督式少镜头学习置于上下文学习中更广泛的元学习范围内。事实上，我们认为，任何序列的分布，其中上下文非平凡地减少了后续预测的损失，都可以被解释为引发一种上下文学习。我们认为，这种观点有助于统一语言模型所表现出的广泛的上下文能力，例如根据指令或角色扮演适应任务，或推断时间序列。这一观点还揭示了语境学习在语言依赖的低级处理中的潜在根源（例如同指或平行结构）。
🔸最后，从这个角度强调了泛化的重要性，我们建议可以从几个方面进行研究：不仅是学习新东西的能力，还有从不同演示中学习的灵活性，以及应用所学知识的灵活性。我们讨论了元学习和目标制约因素与过去文献的更广泛联系，以及关于学习和适应的其他观点。最后，我们建议对情境学习的研究应该考虑更广泛的情境能力和泛化类型。

🛎️文章简介

🔸研究问题：如何理解并扩展上下文学习（in-context learning, ICL）的概念，使其不仅仅局限于少样本监督学习，而是涵盖从基本语言能力到复杂上下文适应的广泛范围。
🔸主要贡献：论文提出了一个更广泛的上下文学习视角，将少样本监督学习视为元学习上下文适应的一部分，并探讨了上下文学习的多种形式和其泛化能力。

📝重点思路

🔸文献综述：首先回顾了关于元学习、基于实体的代理和语言模型中的上下文学习的相关文献。
🔸理论分析：提出了一个更广泛的上下文学习视角，即任何产生非平凡序列依赖的任务解释为某种形式的ICL，从而将少样本监督学习视为元学习上下文适应的一部分。
🔸实验验证：通过多个实验展示了语言模型在不同上下文学习任务中的表现，如时间序列外推、角色提示、任务描述等。
🔸案例研究：通过具体的案例研究，展示了上下文学习在不同任务中的应用和表现。

🔎分析总结

🔸语言模型不仅限于标准的小样本监督ICL，还能从多种上下文线索中学习，如指令、角色扮演等。
🔸语言模型在处理复杂的上下文任务时，如共指消解、词义消歧等，表现出更高级的ICL能力。
🔸语言模型的ICL能力与其训练数据的序列依赖结构有关，这些结构支持了模型在不同上下文中的适应能力。
🔸语言模型在不同形式的ICL之间可能存在共享的电路或转移效应，这有助于理解模型的行为和内部机制。

💡个人观点

论文的核心是将上下文学习定义为元学习能力，个人理解是和模型知识的拓扑结构相关，从而引发模型对概念关系的映射和迁移。

🧩附录