心智理论在LLM中真的有用吗？《Limits of Theory of Mind Modelling in Dialogue-Based Collaborative Plan Acquisition》

摘要

最近关于基于对话的协作计划获取（Collaborative Plan Acquisition, CPA）的研究表明，在技能集和知识不对称的环境中，心智理论（Theory of Mind, ToM）建模可以改善对缺失知识的预测。尽管心智理论被认为对有效的协作至关重要，但在这一新任务中的实际影响仍未得到充分探索。通过将计划表示为图结构并利用任务特定的约束条件，我们发现，当预测自己缺失的知识时，CPA的性能几乎翻倍，而由于ToM建模带来的改进却有所减弱。即使在评估现有基线方法时，这一现象依然存在。为了更好地理解ToM在CPA中的相关性，我们对包含和不包含ToM特征的模型进行了系统的性能比较。跨模型及其消融实验的结果一致表明，用于ToM任务学习的特征更有可能反映数据中的潜在模式，而与ToM并没有明显的关联。这一发现呼吁我们对ToM在CPA及其他领域的角色进行更深入的理解，并开发新的方法来建模和评估计算协作代理中的心理状态。

介绍

基于对话的人机协作是指人类与人工智能（AI）代理通过对话来实现共同目标或任务的互动（Streeck等人，2011）。当人类相互协作时，他们依赖于两种主要能力：语言交流和心智理论（Theory of Mind, ToM），即推断自己和他人心理状态的能力（Premack和Woodruff，1978）。因此，为了成功与人类协作，AI代理也必须具备类似的能力（Williams等人，2022）。

关于这一主题的最新研究提出了协作计划获取（Collaborative Plan Acquisition, CPA）这一有前景的任务，用于评估代理的协作能力（Bara等人，2023）。从两个协作代理不对称的知识和技能集出发，CPA的目标是通过多轮情境对话推断出自己缺失的知识（OMK）和合作伙伴缺失的知识（PMK），以实现共同目标（见图1）。为了研究CPA，作者使用了MindCraft——一个基于沙盒游戏《Minecraft》的多模态协作对话基准（Bara等人，2021）。他们还提出了一个序列到序列的CPA模型，该模型使用视觉观察、计划和对话历史作为输入。实验证明，在预测OMK和PMK的表现上存在显著差异。此外，他们发现，虽然包括一部分ToM特征可以提高性能，但使用全部ToM特征的效果与不使用任何ToM特征几乎相同。

在本研究中，我们系统分析了心智理论建模在基于对话的协作计划获取中的局限性。我们首先提出将计划表示为有向图，每个图由节点特征矩阵、连接矩阵和边特征矩阵组成。这与之前的研究（Bara等人，2021，2023）形成鲜明对比，后者将计划表示为由GRU（Cho等人，2014）处理的材料和工具列表。我们新的结构化表示允许我们优雅地将CPA框定为链接预测任务（Liben-Nowell和Kleinberg，2007），并通过对MindCraft计划结构施加约束的负采样来实现高效训练。我们提出的表示不仅将OMK预测性能提升了两倍，还缩小了与PMK预测的差距。

然而，我们的评估显示，无论是我们的方法还是Bara等人（2023）的基线方法，使用心智理论特征都没有显著的性能差异。因此，我们进行了广泛的分析，包括诊断探测、相关性分析和将真实的ToM标签作为输入。跨模型和消融实验的结果一致表明，学习到的ToM特征与心理状态的关联较弱，而更倾向于揭示数据中的潜在模式。

总之，我们的工作有两项主要贡献：（1）我们提出了一种用于CPA的基于图的计划表示，并展示了图学习方法的应用同时使OMK预测性能提高了两倍，且缩小了与PMK预测的差距；（2）我们在不同模型和消融实验中进行系统分析，表明学习到的ToM特征反映了数据中的潜在模式，而与心智理论没有可感知的关联。

问题表述

图 3：左：平面图示例。节点代表材质，边将每种材质连接到合成所需的组件，边特征表示与材质交互所需的工具。右图：我们用于预测 OMK 的候选采样策略：有效候选起始节点的出度必须小于 4，而候选结束节点的入度必须小于或等于 1。

MindCraft（Bara等人，2021年）被引入作为一个多模态基准，用于研究在协作任务中的心智理论（ToM）建模。这个基准涉及两个玩家通过对话在一个3D方块世界中协作，通过使用特定工具操控方块来制作目标材料（见图3，左图）。玩家最初获得一个部分计划，表示为一个不完整的有向“与”图（AND-graph），并配有一个工具，允许每个玩家与一组特定方块进行互动。由于玩家具备互补的知识和技能，他们必须通过游戏内聊天进行沟通，以制作目标材料，并推理对方的心理状态。Bara等人（2021）设计的ToM任务专门用于捕捉与协作相关的心理状态信息。在游戏过程中，每隔75秒，玩家会被提示回答弹出的问题，这些问题根据类型配对，具体如下：

1. 任务状态问题（Task Status）：预测是否其中一名玩家已经制作了特定材料。例如，玩家1被问到：“你的伙伴到目前为止是否已经制作了GOLD_BLOCK？”而玩家2则被问：“你自己是否已经制作了GOLD_BLOCK？”可能的回答选项是“是（YES）”、“否（NO）”或“可能（MAYBE）”。

2. 玩家知识问题（Player Knowledge）：预测玩家是否知道如何制作某种材料，或他们是否认为自己的伙伴知道如何制作。例如，玩家1被问到：“你认为另一名玩家是否知道如何制作BLUE_WOOL？”而玩家2被问到：“你是否知道如何制作BLUE_WOOL？”可能的回答选项是“是（YES）”、“否（NO）”或“可能（MAYBE）”。

3. 玩家意图问题（Player Intention）：预测某名玩家在当前时间步正在制作哪种材料。例如，玩家1被问到：“你认为另一名玩家现在正在制作什么？”而玩家2则被问到：“你现在正在制作什么？”可能的回答选项是游戏中的不同方块类型或“不确定（NOT_SURE）”。

在本研究中，我们重点关注Bara等人（2023）提出的MindCraft扩展版本。他们在该版本中提出了协作计划获取（Collaborative Plan Acquisition, CPA），并探讨了在执行制作任务时，心智理论建模在预测玩家缺失知识中的作用。CPA的定义如下：

定义1 考虑一个联合计划作为一个有向AND-图 $\mathcal{P}=(V,E)$，其中节点 $V$ 表示（子）目标材料，边 $E$ 表示子目标之间的时间约束。在协作计划获取问题中，两个代理 $i$ 和 $j$ 开始时拥有部分计划 $P_i=(V,E_i),E_i\subseteq$