本文是LLM系列文章,针对《Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models》的翻译。
摘要
大型语言模型(LLM)在没有经过专门策划的多语言并行语料库的预训练的情况下,展示了非凡的多语言能力。解释LLM处理多语言文本的基本机制仍然是一个具有挑战性的问题。在本文中,我们深入研究LLM中Transformer架构的组成,以确定特定于语言的区域。特别地,我们提出了一种新的检测方法,即语言激活概率熵(LAPE),来识别LLM中的语言特定神经元。基于LAPE,我们对两种具有代表性的LLM,即LLaMA-2和BLOOM进行了综合实验。我们的研究结果表明,LLM在处理特定语言方面的熟练程度主要是由于一小部分神经元,主要位于模型的顶层和底层。此外,我们展示了通过选择性激活或去激活语言特异性神经元来“引导”LLM的输出语言的可行性。我们的研究为理解和探索LLM的多语言能力提供了重要证据。