【博士论文】理解大型语言模型：使用探针分类器和自合理化实现严格和有针对性的可解释性...

来源：专知
本文为论文介绍，建议阅读5分钟
在本论文中，我展示了我们在更好理解LLMs方面的方法贡献。

大型语言模型（LLMs）已成为许多自然语言处理（NLP）系统的基础，这得益于它们的性能和对各种任务的易适应性。然而，关于它们的内部工作原理仍有许多未知之处。LLMs拥有数百万甚至数十亿的参数，它们的大部分训练以自监督的方式进行：它们只是学习预测序列中的下一个单词或缺失的单词。这对于捕获广泛的语言、事实和关系信息非常有效，但这意味着学习的具体内容及其在LLM中的表现方式并非易事。

在本论文中，我展示了我们在更好理解LLMs方面的方法贡献。这项工作可以分为两种方法。第一种位于可解释性领域，该领域关注于理解LLMs的内部工作原理。具体来说，我们分析并完善了一种名为探针分类器的工具，该工具检查LLMs的中间表示，重点是神经模型各层的作用。这有助于我们全面理解信息在模型中的结构方式。我介绍了我们在评估和改进探针方法方面的工作。我们开发了一个框架来阐明过去方法的局限性，表明所有常见的控制都不足。基于此，我们通过创建人为的分布变化提出了更严格的探针设置。我们开发了新的探针分类器评估指标，将焦点从层包含的总体信息转移到LLM中信息内容的差异。

第二种方法涉及可解释性，特别是自合理化模型，这些模型生成自由文本解释以及它们的预测。这是局部可理解性的一个实例：我们获得个别预测的理由。然而，在这种设置中，解释的生成与预测的生成一样不透明。因此，我们在这一领域的工作重点是更好地理解生成解释的属性。我们评估了由不同模型管道生成的解释的下游性能，并将其与人类对解释的评价进行比较。我们的结果表明，提高下游性能的属性与人类在评估解释时所欣赏的属性不同。最后，我们对LLM生成的解释进行了注释，这些解释具有人类解释通常具有的属性，并讨论了这些属性对不同用户群体的影响。

虽然对LLMs内部工作的详细理解仍然不可行，但我认为本工作中呈现的技术和分析可以帮助更好地理解LLMs、它们编码的语言知识及其决策过程。结合有关模型架构、训练数据和训练目标的知识，这些技术可以帮助我们发展对LLMs的稳健的高层理解，这可以指导关于它们部署和潜在改进的决策。