Can we Soft Prompt LLMs for Graph Learning Tasks?

最新推荐文章于 2025-05-18 20:51:08 发布

Mr.Zhao

最新推荐文章于 2025-05-18 20:51:08 发布

阅读量648

点赞数 11

文章标签： prompt

本文链接：https://blog.csdn.net/weixin_44758224/article/details/142929006

版权

我们可以为图学习任务软提示LLM吗？

【摘要】图在描述社交网络、生物数据和引文网络等现实应用中的复杂关系方面发挥着重要作用。近年来，大型语言模型（LLM）在各个领域取得了巨大的成功，这使得将LLM应用于图特别有吸引力。然而，直接将LLM应用于graph modalities提出了独特的挑战，由于图形和文本模态之间的差异和不匹配。因此，为了进一步研究LLM理解图形信息的潜力，我们引入了Graphicenter，这是一个旨在通过软提示将图形信息与LLM对齐的新框架。具体来说，Graphicenter由两个主要组件组成：一个用于编码复杂图形信息的图形神经网络和一个有效处理文本信息的LLM。

Introduction

大型语言模型（LLM）在各个领域都取得了显著的成功，这主要归功于他们在预训练阶段记忆的广泛知识以及他们在不同文本数据集上微调过程中的卓越概括能力。这一成功激发了人们对将图神经网络（GNN）与LLM相结合的兴趣，以增强其理解和建模图的能力，包括将LLM实现为编码器以处理GNN内的特征，并将LLM用作GNN的对齐器以增强性能。

然而，直接将LLM应用于graph modalities提出了独特的挑战，由于图形和文本模态之间的差异和不匹配。例如，现有的工作主要是将图映射成文本，忽略了与图相关的无关信息和噪声。这种疏忽导致对图中关键结构知识的理解不足。此外，当处理包含数千或数百万个节点和边的大型图时，挑战会被放大，因为这种复杂性阻碍了LLM掌握复杂结构信息的能力。

这些限制促使我们研究在图学习任务中使用图作为由GNN编码的LLM的软提示。这种方法背后的直觉是，GNN更擅长从邻域信息中聚合和转换信息，这可以为LLM提供拓扑信息。此外，它可以指导LLM从文本输入中选择相关信息，并控制token生成的生成过程。具体来说，在这项工作中，我们的目标是检查soft graph prompt在为LLM的预测提供信息方面的功效。因此，一个自然但关键的研究问题出现了：我们可以软提示LLM图学习任务吗？

为了回答这个问题，本文引入了GraphPrompter，它是一个结合了GNN和LLM的优点来处理和理解图结构化数据的新框架。特别是，GraphPrompter利用冻结的LLM（GNN工作时LLM不参与训练）作为一个强大的特征提取器，利用其大量的预训练知识，从而使我们能够避免大量的特定于任务的微调。并行地，GNN在图上工作以产生节点嵌入，节点嵌入稍后与提示指令级联以引导LLM进行图学习任务。由于LLM具有强大的自回归特性，它可以根据融合的图形和文本信

息生成语言反应，从而有效地将LLM转变为图形理解任务的强大工具。如需说明，请参阅图1。

这种混合方法特别适用于具有文本属性的图（即，文本图），这需要理解文本内容和图形结构，例如根据其引用网络和摘要识别学术论文的子类别。我们通过实验证明，我们的框架能够在节点分类和链接预测任务下，在五个基准数据集上提示LLM进行图学习任务。它展示了将LLM用于传统文本之外的复杂数据结构的重大进步的潜力，为能够理解复杂图形的AI助手领域的研究和应用开辟了新的途径。我们的主要贡献如下：

据我们所知，这是第一次研究LLM是否能够通过软提示理解图学习任务。·
提出了一种新的即插即用框架GraphPrompter，它首先利用GNN从文本图中获取节点表示。然后，将所得到的嵌入与提示指令相连接，以引导LLM进行图学习任务。·
在不同的图基准测试中验证了该框架在节点分类和链接预测任务下的有效性.

Method

2.1 Graph Section

首先，利用GNN的固有能力将局部邻域信息聚合和转换为有意义的嵌入;其次，实现与LLM的后续集成，LLM将这些嵌入解释为与文本数据相结合的软提示。

2.2 LLM Section

在对图结构进行编码之后，Graphicenter继续处理与每个节点相关联的文本信息。这就是LLM的力量发挥作用的地方，因为它被保持冻结以进行有效的微调，同时保留LLM的预先训练的知识。对于每个节点，给定其相关联的文本属性“_”（例如，引用图中一篇论文的标题和摘要），我们使用LLM的frozen tokenizer对引用进行标记，如下所示：

tokenizer将文本转换为一系列离散的标记，这些标记是LLM词汇表中的标记。随后，这些token被嵌入到连续空间中：

其中，M是序列长度，dl是LLM的隐藏维度。这些嵌入旨在捕获文本的语义含义，补充GNN提供的结构信息。接下来，我们连接节点嵌入和文本嵌入，表示为[X，Temb]，它将像往常一样通过LLM中的self-attention层。

此步骤的动机是确保LLM可以处理文本的丰富语义内容以及图嵌入。通过将文本属性编码为兼容的格式，我们的目标是利用LLM对自然语言的高级理解，这对于需要结合结构和文本数据解释的任务至关重要，例如引文网络中的节点分类。在这里，我们指出节点分类和链接预测的关键区别：节点分类评估来自单个节点的信息，而链接预测考虑两个节点的属性，特别是它们的源和目的地。