超级会员免费看
本文探讨了大型语言模型（LLM）在无并行语料库预训练下展示的多语言能力，通过语言激活概率熵（LAPE）识别特定语言神经元。研究发现，LLM的多语言处理主要依赖于模型顶层和底层的一小部分神经元，并可通过激活这些神经元来指导输出语言。
本文是LLM系列文章，针对《Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models》的翻译。
摘要
大型语言模型（LLM）在没有经过专门策划的多语言并行语料库的预训练的情况下，展示了非凡的多语言能力。解释LLM处理多语言文本的基本机制仍然是一个具有挑战性的问题。在本文中，我们深入研究LLM中Transformer架构的组成，以确定特定于语言的区域。特别地，我们提出了一种新的检测方法，即语言激活概率熵（LAPE），来识别LLM中的语言特定神经元。基于LAPE，我们对两种具有代表性的LLM，即LLaMA-2和BLOOM进行了综合实验。我们的研究结果表明，LLM在处理特定语言方面的熟练程度主要是由于一小部分神经元，主要位于模型的顶层和底层。此外，我们展示了通过选择性激活或去激活语言特异性神经元来“引导”LLM的输出语言的可行性。我们的研究为理解和探索LLM的多语言能力提供了重要证据。
订阅专栏 解锁全文
748
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
