解密代码数据对大语言模型推理能力的影响

在人工智能领域,大语言模型(Large Language Models, LLMs)的出现无疑是一场革命。这些模型不仅展现出惊人的语言理解和生成能力,更令人瞩目的是它们在推理方面的卓越表现。然而,一个关键问题始终萦绕在研究人员心头:是什么让这些模型拥有如此强大的推理能力?最近,一项来自国防科技大学、鹏城实验室和清华大学的联合研究,为我们揭开了这个谜题的一角。

代码数据:推理能力的秘密武器?

众所周知,大语言模型的成功离不开两个关键因素:训练数据和训练策略。在训练数据方面,研究人员一直致力于通过多样化的大规模数据来赋予模型语言能力和通用知识。例如,LLaMA模型就是在1.4万亿个token上训练而成,这些数据包括了文本(如CommonCrawl、C4)和代码(来自GitHub)。

但是,相比普通的文本数据,代码数据似乎有着独特的魔力。正如研究人员所指出的,"与普通文本数据相比,代码数据更具逻辑性,歧义性更低。"这一特性让人不禁联想到:代码数据是否是提升模型推理能力的关键?

深入探索:代码数据在何时发挥作用?

为了回答这个问题,研究团队设计了一系列精心设计的实验。他们将代码数据分别引入到预训练阶段、指令微调阶段,以及两个阶段都引入,然后通过六个涵盖五个领域的推理任务对模型进行全面评估。这些任务包括逻辑推理、代码推理、法律推理、科学推理和类比推理。

让我们来看看他们的发现:

1. 预训练阶段的魔力: 在预训练阶段混合使用代码和文本数据,可以显著提升模型的通用推理能力,而且几乎不会对其