arXiv每日学术速递 | 专题解读 | 图增强大语言模型研究进展

本文来源公众号“arXiv每日学术速递”，仅用于学术分享，侵权删，干货满满。

原文链接：专题解读 | 图增强大语言模型研究进展

一、简介

图在表示和分析现实世界中的复杂关系方面发挥着重要作用，如社交网络、生物数据等。大语言模型（LLM）在自然语言处理领域取得了巨大成功，现在也被用于与图相关的任务，超越了传统的基于图神经网络（GNN）的方法。这种结合在多个领域取得了成功，显示了图和LLM集成的强大潜力。下面将介绍两篇关于图增强大语言模型的论文。

二、Can Graph Learning Improve Planning in LLM-based Agents?（NurIPS 2024）

任务规划旨在将复杂的自然语言用户请求分解为具体且可解决的子任务，并执行这些子任务以满足原始请求。然而注意力的归纳偏差和自回归损失阻碍了LLM在图上有效导航决策的能力，而图神经网络（GNN）则巧妙地解决了这一问题。在这种情况下，子任务可以自然地被视为一个图，其中节点表示子任务，边表示它们之间的依赖关系。因此，任务规划是一个在相应的图中选择连通路径或子图的决策问题。该论文提出将GNN与LLM集成在一起，以提高任务规划的性能。

2.1.无需训练的GNN方法

当前的任务规划解决方案涉及两个阶段。第一阶段需要理解用户请求的自然语言并将其分解为具体指令，这是LLM的独特能力。第二阶段是在任务图上选择路径，其中每个节点对应一个分解的步骤。因此，我们可以在这个阶段集成GNN