Unveiling Linguistic Regions in Large Language Models

本文是LLM系列文章，针对《Unveiling Linguistic Regions in Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出相当大的跨语言对齐和泛化能力。目前的研究主要集中在提高LLM的跨语言泛化能力上。然而，关于LLM如何实现跨语言对齐的内在机制仍然缺乏研究。本文从区域划分的角度，对LLMs的语言能力进行了几次考察。我们发现LLM中有一个核心区域对应于语言能力，约占整个模型参数的1%。通过将参数设置为零来删除此核心区域会导致30种不同语言的性能显著下降。此外，这个核心区域表现出显著的维度依赖性，甚至对特定维度上的单个参数的扰动都会导致语言能力的丧失。此外，我们发现不同的单语族存在不同的区域，对这些特定区域的破坏大大降低了LLM对相应语言的熟练程度。我们的研究还表明，在进一步的预训练中冻结核心语言区域可以缓解灾难性遗忘（CF）的问题，这是LLM进一步预训练中常见的现象。总的来说，探索LLM的功能区域可以深入了解