Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

本文是LLM系列文章，针对《Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning》的翻译。

摘要

上下文学习（ICL）是大型语言模型（LLM）的一种很有前途的能力，它为它们提供了执行各种任务的演示示例。然而，LLM如何从所提供的上下文中学习的潜在机制仍有待探索。在本文中，我们通过信息流透镜来研究ICL的工作机制。我们的研究结果表明，示范示例中的标签词起到了锚的作用：（1）在浅计算层的处理过程中，语义信息聚合成标签词表示；（2） 标签词中的合并信息用作LLM的最终预测的参考。基于这些见解，我们介绍了一种提高ICL性能的锚重加权方法、一种加快推理的演示压缩技术，以及一种用于诊断GPT2-XL中ICL错误的分析框架。我们发现的有希望的应用再次验证了未发现的ICL工作机制，并为未来的研究铺平了道路。

1 引言

2 标签词为锚

3 基于锚的理解的应用

4 相关工作

5 结论

在本文中，我们提出了一个假设，即标签词在上下文学习中充当锚，用于聚合和分布与任务相关的信息流。注意力操纵和预测相关性分析的实验结果巩固了GPT2XL和GPT-J模型中的假设。受新的理解视角的启发，我们提出了三个实际应用。首先，提出了一种锚重加权方法来提高ICL的精度。其次，我们探索了一种演示压缩技术来加速ICL推理。最后，我