使用 GPT-4 指导因果机器学习

文章探讨了大型语言模型（LLM），特别是GPT-4，在识别因果关系方面的潜力。研究人员在极端受限的条件下评估了GPT-4的能力，即仅依靠变量标签而没有额外的上下文信息来推断因果关系。结果显示，参与者认为GPT-4生成的因果图最为准确，其次是领域专家构建的知识图谱，而传统的因果机器学习方法则表现较差。研究还指出，传统的因果机器学习方法往往会生成违反常识的因果图，影响了人们对这些模型的信任。然而，当将GPT-4与因果机器学习方法结合使用时，可以显著提高从真实数据中学习到的因果结构的质量，使其更接近领域专家的意见。这项研究强调了即使GPT-4并非专为因果推理设计，但其在改善因果机器学习过程中的潜在价值。

1 因果关系识别

GPT-4在因果关系识别方面展现了令人印象深刻的能力。尽管它并非专门设计用于因果推理，但在一项研究中，当仅提供变量标签而无任何上下文时，GPT-4能够推断出的因果图被认为是最准确的，仅次于由领域专家构建的知识图，而远超传统的因果机器学习方法。这项研究表明，即使是在最严格的条件下，GPT-4也能有效地识别因果关系，并且当将其输出作为因果约束与因果机器学习算法结合使用时，可以显著提高学习到的图形结构与领域专家构建图的一致性。这表明GPT-4作为语言模型在因果表示方面具有潜在价值。

2 实验步骤

（1）案例研究的选择：

选定了五个来自不同领域的案例研究以进行全面评估，这些案例研究需要足够简单，以便问卷参与者能够对其进行审查，并且变量数量适中，以确保GPT-4能够处理。

（2）输入GPT-4的准备：

准备案例研究中的变量标签作为GPT-4的输入，避免使用过于复杂的案例研究，以免超出GPT-4处理变量数量的限制。

（3）结构学习算法的选择：

选择了支持结构学习的算法，这些算法能够处理离散数据，并模拟指定的结构性约束，使用的算法包括PC-Stable、FGES、HC、TABU、MAHC、MMHC和SaiyanH等。

（4）问卷设计与实施：

设计了一个问卷，邀请不同背景的参与者完成，包括MSc学生、PhD学生和LinkedIn上的专业人士，问卷包含了对由GPT-4、因果机器学习算法和领域专家构建的因果图的评估。

（5）结构学习实验：

利用GPT-4生成的因果关系约束，应用于结构学习算法中，测试了三种类型的约束条件：要求的边约束、初始图约束和时间顺序约束。

3 结语

文章探讨了GPT-4在仅基于变量标签的情况下识别因果关系的能力，并通过问卷调查发现参与者认为GPT-4生成的因果图最准确，同时展示了当GPT-4与因果机器学习方法结合时能够产生更符合领域专家认知的因果结构。

论文题目：Agent-E: From Autonomous Web Navigation to Foundational Design Principles in Agentic Systems

论文链接： https://arxiv.org/abs/2407.13032

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！