潜在因果探测:用因果模型揭示语言模型的内部机制

在人工智能和自然语言处理领域掀起革命的大型语言模型,究竟学到了什么?它们是否真正理解了语言的潜在概念和因果关系?这些问题一直困扰着研究人员。最近,麻省理工学院计算机科学与人工智能实验室的Charles Jin提出了一种新颖的方法来探索这些问题,为我们打开了一扇窗户,让我们得以窥见语言模型内部的运作机制。

潜在因果探测:用因果模型揭示语言模型的内部机制

近年来,像GPT-3这样的大型语言模型在各种自然语言处理任务中取得了惊人的成绩。然而,这些模型究竟是如何工作的,它们到底学到了什么,仍然是一个谜。为了揭开这个谜题,研究人员开发了一种叫做"探测分类器"的技术。这种技术通过训练小型分类器来从预训练语言模型的表征中提取某些语言特征,从而推断模型是否学习了这些特征。

虽然探测技术被广泛使用,但其设计和分析仍面临着诸多挑战。首先,由于探测分类器本身是直接针对辅助任务进行监督训练的,观察到的结果可能不仅取决于语言模型本身编码的信息,还取决于探测器提取信息的能力。其次,探测分类器的选择和训练过程也会影响实验结果。最后,随着大型语言模型展现出越来越"智能"的行为,我们需要设计新的辅助任务来探索模型在世界知识和心智理论等方面的能力。

为了应对这些挑战,Charles Jin提出了一个基于结构因果模型(SCM)的形式化框架,称为"潜在因果探测"。这个框架的核心思想是:给定一个解释训练数据分布的因果模型,我们可以将主要假设框定为语言模型是否学会了表征SCM的潜在变量 - 这些变量解释了文本是如何生成的,但在训练过程中从未被直接观察到。

结构因果模型:揭示文本背后的因果关系

结构因果模型是一种用有向图来表示数据生成过程中因果关系的图形模型。以天气对员工带伞行为的影响为例,我们可以假设一个包含天气、天气预报、是否迟到以及是否带伞这几个变量的SCM。在这个模型中,天气和迟到是外生变量,其原因不在模型解释范围内。而天气预报是一个中介变量,部分传递了天气对带伞行为的因果效应。

Jin将SCM的思想应用到了一个合成的网格世界导航任务中。在这个任务中,程序由5种动作(移动、右转、左转、放置标记、拾取标记)组成,初始状态和最终状态是8x8的网格。执行程序会使单个机器人从初始状态导航到最终状态。Jin构建了一个SCM来描述这个数据生成过程,其中外生变量是初始状态和程序动作,潜在变量是中间状态,观察变量是初始状态、最终状态和程序。

这个SCM为我们提供了一个清晰的框架来建模文本分布。例如,知道机器人在倒数第二个状态离最终状态只有一格,可以帮助学习者预测最后一个动作是"移动"。更一般地说,给定根据某种未知因果机制生成的观察结果,学习者可以提出各种与观察一致的SCM候选模型,然后使用这些SCM来指导未来的预测。

潜在因果探测:检验语言模型是否学习了潜在概念

基于SCM的框架,Jin提出了"潜在因果探测"方法,用于实证检验"语言模型是潜在因果概念学习者"这一假设。其核心思想是:给定一个将训练数据建模为观察变量的SCM,我们可以探测语言模型是否学习了SCM中的潜在变量的表征。

具体来说,给定一个结构因果模型M和感兴趣的潜在变量vM,我们可以为每个文本样本x定义vM(x)为x在M中对应的潜在变量值。然后,我们可以构建一个辅助数据集,其输入特征是语言模型LM对x的表征LM(x;θ),标签是vM(x)。将这个数据集分为校准集和测量集,在校准集上训练探测器,在测量集上评估准确率。

Jin进一步区分了"约束"和"自由"的潜在变量结果。约束结果是指给定训练数据和假设类M,潜在变量的值是唯一确定的。而自由结果则是存在多个SCM可以同样好地解释观察数据,但给出不同的潜在变量值。基于这种区分,Jin提出了四种不同的探测设置,分别对应于测量语言模型表征中的演绎知识、归纳偏置、演绎偏置和归纳知识。

因果中介分析:控制探测器的影响

为了解决探测器本身可能影响测量结果的问题,Jin提出了一种基于因果中介分析的方法。他将SCM扩展到包括语言模型训练、探测器校准和探测器测量三个阶段。然后,他定义了"必要间接效应"(NIE)来量化通过语言模型表征传递的因果效应。

Jin证明,只要存在一个有效的基线SCM M’,使得在M上测量的准确率比在M’上高,就可以得出语言模型表征确实中介了潜在因果概念的结论。这为我们提供了一种严格的方法来解释探测结果,避免了探测器本身能力的干扰。

实证研究:语言模型能否学习潜在因果概念?

为了验证他的理论框架,Jin进行了一项实证研究,探索从头训练的语言模型是否能学习数据生成过程中的潜在因果概念。他使用了前面提到的网格世界导航任务,训练了一个有350M参数的Transformer模型。

实验结果令人振奋。Jin发现了有力的证据表明:(1)语言模型确实学会了表征对应于语言底层语义的潜在变量;(2)语言模型的表征展现出了能泛化到新的动作序列的归纳偏置。这是首次对"语言模型是潜在概念学习者"这一假设进行严格的实证评估,揭示了语言模型如何获得语言理解的深刻洞见。

结论与展望

Charles Jin的研究为我们理解大型语言模型的内部机制提供了一个新的视角。通过将结构因果模型与探测技术相结合,他不仅提出了一种更加严谨的方法来解释探测结果,还为我们揭示了语言模型可能通过学习潜在的因果概念来理解语言。

这项研究的意义远不止于此。它为我们提供了一个框架,可以系统地研究语言模型在各种领域中的能力和局限性。例如,我们可以设计新的SCM来探索模型在推理、常识理解等方面的能力。此外,这种方法也可能帮助我们设计更好的语言模型训练方法,使模型能更有效地学习潜在的因果概念。

然而,这项研究也留下了一些有待解决的问题。例如,如何将这种方法扩展到更复杂的自然语言任务?如何处理非因果的潜在变量?这些问题都值得进一步探索。

总的来说,Charles Jin的研究为我们打开了一扇窗户,让我们得以窥见语言模型的内部世界。随着这一领域的不断发展,我们或许能够设计出更加智能、更具解释性的AI系统,为人工智能的未来开辟新的道路。

参考文献:
[1] Jin, C. (2024). Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data. arXiv:2407.13765.