[论文笔记] LLM-ICL可解释论文：标签词是锚点:理解语境学习的信息流视角 Label Words are Anchors

Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun

1. 信息流视角：论文提出了一种新的视角，即通过信息流的角度来分析和理解大型语言模型在上下文学习中的工作机制。这种视角有助于揭示模型是如何从示例中提取和聚合信息的。

2. 标签词作为锚点：研究发现，在示例中，标签词（label words）起着锚点的作用。在浅层（shallow layers）中，标签词聚合来自示例的语义信息；在深层（deep layers）中，模型从标签词中提取信息以形成最终预测。

3. 信息流量化指标：为了量化信息流，论文设计了两个基于显著性得分的指标（Swp 和 Spq），分别衡量从文本部分到标签词以及从标签词到目标位置的信息流的重要性。

4. 实验验证：通过在GPT2-XL和GPT-J模型上的实验，验证了标签词作为信