[论文笔记] Do Llamas Work in English?On the Latent Language of Multilingual Transformers

       

        我们提出一个问题，即在不平衡的、以英语为主的语料库上训练的多语言模型是否使用英语作为内部枢纽语言。这对于理解语言模型的功能和语言偏见的起源来说是至关重要的问题。我们研究的重点是Llama-2系列的Transformer模型。本研究使用精心构建的非英语提示词，具有唯一正确的单词续词。Transformer从一层到另一层，逐步将最终提示词的输入嵌入映射到输出嵌入，从中计算下一个词的概率。通过追踪中间嵌入在其高维空间中的变化，揭示了三种不同的阶段：

（1）中间嵌入最初远离输出词嵌入；

（2）在中间层中，尽管中间嵌入已经可以解码语义上正确的下一个词，但其英语版本的概率高于输入语言的版本；

（3）最终进入嵌入空间中输入语言特定的区域。

        我们将这些结果归纳为一个概念模型，其中这三个阶段分别在“输入空间”、“概念空间”和“输出空间”中运行。关键是，我们的证据表明ÿ