浙大：基于LLM的因果推理agent

📖标题：Causal Agent based on Large Language Model
🌐来源：arXiv, 2408.06849

摘要

大型语言模型（LLMs）在各个领域都取得了显著的成功。然而，因果问题和因果理论的固有复杂性使得准确地用自然语言描述它们变得困难，这使得LLMs难以有效地理解和使用它们。因果方法不容易通过自然语言传达，这妨碍了LLMs准确应用它们的能力。此外，因果数据集通常是表格形式的，而LLMs擅长处理自然语言数据，这造成了结构上的不匹配，阻碍了有效处理表格数据的推理。这种缺乏因果推理能力限制了LLMs的发展。为了解决这些挑战，我们在代理框架中为LLM配备了因果工具，命名为因果代理，使其能够解决因果问题。因果代理包括工具、记忆和推理模块。在工具模块中，因果代理应用因果方法来将表格数据与自然语言对齐。在推理模块中，因果代理采用ReAct框架通过多次迭代使用工具进行推理。在记忆模块中，因果代理维护一个字典实例，其中键是唯一名称，值是因果图。为了验证因果代理的因果能力，我们建立了一个基准，包括四个因果问题的级别：变量级别、边缘级别、因果图级别和因果效应级别。我们使用ChatGPT-3.5生成了一个包含1.3K个测试数据集的四个级别的问题，并在数据集上测试了因果代理。我们的方法在四个级别的因果问题上表现出显著的效果，所有的准确率都在80%以上。有关更多见解和实现细节，我们的代码可通过GitHub存储库https://github.com/Kairong-Han/Causal_Agent访问。

🛎️文章简介

🔸研究问题：如何增强大语言模型（LLM）在处理因果问题上的能力，特别是表格场景下的数据结构和自然语言不同。
🔸主要贡献：论文提出了一种基于LLM的因果代理框架，通过调用因果分析工具，在变量、边、因果图和因果效应四个层次上进行建模和解决。

📝重点思路

🔺相关工作

🔸因果关系：旨在准确识别和量化复杂系统环境中特定因素（原因）对结果变量（效果）的实际影响，分为关联、干预和反事实三个递进的层次。研究方向主要分为因果发现和因果推理，前者基于有向无环图和贝叶斯模型，后者基于结构因果模型和潜在结果框架。
🔸LLM的代理：通常由配置模块（分配角色）、规划模块（分解任务）、行动模块（采取动作）和记忆模块（长短期记忆）构成。
🔸LLM和因果：一些研究对LLM的因果关系进行了评估和分析，发现依赖提示词工程的质量。

🔺论文方案

🔸主要思想：LLM侧重于自然语言处理，而数据驱动的因果关系侧重于表格，可以将文本作答转变为异构非文本的形式。
🔸问题建模：将因果问题分为四个主要级别，①变量级别，确定不同变量之间的统计相关性 ②边级别，变量之间更深层次的因果关系 ③因果图，转向更宏观的有向无环图 ④因果效应，量化在经历某种干预时结果会有何不同
🔸框架结构：包括①工具模块，重新封装了工具接口，将工具输入改为JSON字符串格式，并使用手动规则和提示模板帮助LLM更好地理解工具输出 ②记忆模块，存储中间结果 ③计划模块，类似ReAct、利用LLM的文本理解和推理能力进行多轮分析

🔎分析总结

🔸因果代理在变量、边、因果图和因果效应四个层次上表现出色。
🔸因果工具的使用保证了可解释性和可靠性，这对于未来的实际应用具有重要意义。
🔸代理的性能在不同领域之间存在差异，这表明特定领域的知识和进一步的领域适应可能有助于提高代理的性能。

💡个人观点

论文的核心在于调用因果分析工具，并在多个层次上进行因果问题的建模和解决。

附录