GraphEdit: Large Language Models for Graph Structure Learning

1. 摘要

图结构学习（GSL）专注于通过生成新颖的图结构来捕获图结构数据中节点之间的内在依赖关系和交互。图神经网络 (GNN) 已成为有前途的 GSL 解决方案，利用递归消息传递来编码节点间的相互依赖关系。然而，许多现有的 GSL 方法严重依赖显式的图结构信息作为监督信号，这使得它们容易受到数据噪声和稀疏性等挑战的影响。在这项工作中，我们提出了 GraphEdit，这是一种利用大型语言模型 (LLM) 来学习图结构数据中复杂节点关系的方法。通过对图结构进行指令调整来增强LLM的推理能力，我们的目标是克服与显式图结构信息相关的限制，并提高图结构学习的可靠性。我们的方法不仅有效地去除噪声连接，而且还从全局角度识别节点依赖关系，提供对图结构的全面理解。我们对多个基准数据集进行了广泛的实验，以证明 GraphEdit 在各种设置下的有效性和鲁棒性。我们已在以下位置提供模型实现：https://github.com/HKUDS/GraphEdit

2. Introduction

本研究旨在探索大型语言模型 (LLM) 如何有助于推理底层图结构。论文提出模型 GraphEdit，它旨在有效地细化图形结构。模型的目标有两个：首先，识别和解决不相关节点之间的噪声连接，其次，发现隐式的节点依赖关系。为了实现这些目标，我们的模型利用与图结构数据中的节点关联的丰富文本数据。结合LLM的文本理解能力，特别是通过指令调整范例，论文增强了对图结构的理解和表示。这使GraphEdit能够捕获各个节点之间的隐式依赖关系，这些依赖关系可能未在图结构本身中显式编码。为了彻底评估 GraphEdit 框架的性能，论文进行了广泛的实验，将其与最先进的解决方案进行比较。此外，论文进行了深入的消融研究和稳健性分析，以验证我们模型背后的优势和基本原理。

3. Method

3.1LLM指令微调

受到之前研究中讨论的同质属性的启发，具有相似属性的节点往往具有更强的连接。这个概念进一步发展为根据节点的连接模式探索节点之间的标签一致性（。具体来说，在依赖图结构的节点分类任务中，最佳情况是最大化同一类内的连接，同时最小化类间连接。在这一原则的指导下，我们的方法旨在利用大型语言模型（LLM）的知识来推理节点之间的潜在依赖关系，同时考虑与各个节点相关的文本语义。
在提示创建阶段，论文在每个提示中精心定义了两个单独的目标。第一个目标是评估节点对标签的一致性。它使语言模型能够准确地掌握所需的图结构。第二个目标，即建立在标签一致性的基础上，确定这些节点所属的特定类别。这些精心设计的提示包含这些双重目标，可以作为语言模型指令调整的宝贵资源。论文利用随机采样技术从训练数据 $N_{train}$ 中选择节点对$(n_i,n_j)$，其中 i 和 j 代表两个不同的节点，k 代表任何其他节点。

3.2 基于 LLM 的边缘预测器

除了原始图结构之外，论文还认识到识别潜在候选边缘的重要性。然而，直接采用经过训练的语言模型 (LLM) 来遍历和推理整个图会带来计算挑战，特别是对于大型图，由于 O(n2) 复杂度，n 表示图中的节点数量。随着图尺寸的增加，这种计算复杂性很快变得不切实际。为了克服这一挑战，论文引入一个轻量级边缘预测器，以帮助LLM在图 G 中的节点之间选择候选边缘。论文利用先前采样的节点对作为边缘预测器的训练集。

论文使用符号 < i, j > 来表示一对节点。与节点 i 和 j 关联的文本属性分别用 $s_i$ 和 $s_j$ 表示。由此产生的表示 $h_i$ 和 $h_j$ 对应于它们各自的节点，并保留从大型语言模型转移的语义知识和推理能力。获得节点表示后，我们使用以下过程基于节点标签 $c_n$构建训练集标签 $y_e$ ：

接下来，论文连接每个节点对中两个节点的表示，将其表示为 $\eta (h_i||h_j)$ 的预测层，从而获得边缘存在的概率。论文利用交叉熵作为损失函数：

$y_e$表示真实标签，${\hat{y}}_e$表示边缘存在的预测概率。

3.3 精炼LLM 增强的结构

为了细化图结构，论文采用先前开发的边缘预测器根据每个节点存在的估计可能性来识别前 k 个候选边缘。然后，这些候选边以及图的原始边将通过提示由大语言模型 (LLM) 进行评估，如表 1 所示。LLM 利用此信息来确定哪些边应合并到最终的图形结构。图结构细化过程可以总结如下：
更新后的邻接矩阵（表示为 A′）是通过将边缘预测器的输出与原始邻接矩阵 A 相结合而获得的。该融合过程将边缘预测器的预测合并到现有的图结构中。随后，通过LLM对应用于 A′ 的提示的评估，生成细化的邻接矩阵 $\hat{A}$。LLM利用其推理能力来做出有关最终图结构中边的添加和删除的决策。因此，精炼后的邻接矩阵 A 代表了LLM的明智选择，包括边的包含和排除。这个精炼的邻接矩阵用作下游图任务的输入，例如节点分类。总之，论文的框架通过结合边缘预测器的预测并利用LLM的推理能力来提高最终图的质量和结构。这导致隐式全局节点依赖性的发现和噪声连接的去噪，从而改进图表示。

实验

5. 结论

论文引入了一种名为 GraphEdit 的突破性大型语言模型，专为学习图形结构而设计。该模型具有识别节点之间的噪声连接并揭示非连接节点之间隐含关系的卓越能力，从而能够优化图结构。为了实现这一目标，论文将LLM的强大功能与轻量级边缘预测器无缝集成。这种集成使模型能够细化图形结构，使它们与LLM的推理知识保持一致。为了严格评估模型的性能，论文在各种设置下进行了广泛的实验。结果一致证明了 GraphEdit 的非凡优越性。