UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS》的翻译。

摘要

大脑定位描述了大脑特定区域与其相应功能之间的联系，在认知科学领域被广泛接受为一个客观事实。今天的大型语言模型（LLM）具有人类水平的语言能力，可以执行需要抽象知识和推理的复杂任务。为了深入理解LLM中智力出现的内在机制，本文以大脑定位为原型进行了类比研究。我们在LLM中发现了一个与语言能力相对应的核心区域，约占整个模型参数的1%。这个核心区域表现出显著的维度依赖性，甚至对特定维度上的单个参数的扰动都可能导致语言能力的丧失。此外，我们观察到，语言能力的提高并不一定伴随着模型知识水平的提高，这可能意味着存在与语言区域分离的领域知识区域。总的来说，探索LLM的功能区域可以深入了解其智力的基础。未来，我们将继续研究LLM中的知识区域以及它们之间的相互作用。

1 引言

2 前言和背景