GNN-based TAG

TAG

LLM as predictor

1. Flatten-based

2. GNN-based

GraphGPT

《GraphGPT: Graph Instruction Tuning for Large Language Models》

香港大学、百度

SIGIR2024

GraphGPT是一种基于图的大型语言模型（LLM），旨在通过图指令调优（Graph Instruction Tuning）来提高模型在图结构数据上的泛化能力。即让LLM理解图结构，并直接完成图结构相关的下游任务的模型，如分类和推理。

背景：

• LLM在理解图结构上下文时具有局限性
• 使用基于文本的结构性提示会导致token大小的增加，给现实应用带来了挑战

算法原理：

1. 图-文本对齐：通过一个轻量级的图-文本对齐投影器（lightweight graph-text alignment projector），GraphGPT能够将LLMs的文本理解能力与图结构知识相结合。

   • text-graph grounding component：为了提高LLMs对图结构信息的理解，GraphGPT引入了文本-图接地范式，该范式生成保留图结构上下文的提示，以桥接文本信息的语义理解和图的固有结构关系。
   • 不同对比策略的转换函数，将不同维度的两种模态的表示映射到同一个子空间中

2. 图指令调优：GraphGPT框架通过图指令调优将LLMs与图结构知识整合，包括文本-图接地组件（text-graph grounding component）和双阶段指令调优方法。

   • 阶段一：在图结构上进行预训练，即自监督图匹配任务：
     • 将图中的每个节点视为中心节点，并执行h跳的随机邻居采样，从而得到每个结点的子图结构。
     • 图匹配任务的目标是将某个子图所有节点的token与其相应的节点文本信息匹配（对应于论文标题）。这需要根据图节点token的顺序重新排序节点文本信息列表，从而将每个图节点token与其相关的文本描述关联起来，这由大语言模型来完成，而子图所有节点的token产生于下面的映射器。
     • 将人类问题中的token 替换为子图所有节点tok