Where does In-context Translation Happen in Large Language Models?

本文是LLM系列文章，针对《Where does In-context Translation Happen in Large Language Models?》的翻译。

摘要

自监督的大型语言模型已经证明了通过上下文学习执行机器翻译（MT）的能力，但对于模型在哪里执行提示指令和演示示例的任务知之甚少。在这项工作中，我们试图描述大型语言模型从上下文学习者过渡到翻译模型的区域。通过在GPTNEO2.7B、BLOOM3B、LLAMA7B和LLAMA7B-CHAT上进行的一系列分层上下文掩蔽实验，我们证明了“任务识别”点的证据，即翻译任务被编码到输入表示中，不再需要关注上下文。我们进一步观察到屏蔽整个层时的低性能与任务识别层之间的对应关系。当使用5个示例进行提示时，利用这种冗余可以节省45%的计算量，并在第14/32层实现任务识别。我们的逐层微调实验表明，MT微调最有效的层是对任务识别至关重要的层。

1 背景

2 数据和设置

3 上下文MT发生在哪里？

4 分层冗余特征

5 推理效率

6 进一步分析

7 结论

我们证明了上下文因果解码器模型在前向推理过程中将翻译任务定位在特定层的证据。为了研究这一点，我们从层引入了上下文中自我注意的因果掩蔽ℓ （第3节）。这些发现在不同规模的模型中以及在非指令调整模型和指令调整模型中都有普遍性。我们进一步将某些层确定为任务关键层，并表明这对应于模型的任务识别点（第4.1节），