图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合

题目：《Large Language Models on Graphs: A Comprehensive Survey》

According to the relationship between graph and text, we categorize three LLM on graph scenarios. Depending on the role of LLM, we summarize three LLM-on-graph techniques.“LLM as Predictor” is where LLMs are responsible for predicting the final answer. “LLM as Aligner” will align the inputs-output pairs with those of GNNs. “LLMasEncoder”refers to using LLMs to encode and obtain feature vectors.

一、在文章中，对于图大致分为三类：

纯图（pure graphs），即图中主要以图结构为主，像交通图等；

文本配对图（text-paired graphs），即文本描述和图成对存在的图，像蛋白质序列、基因序列等；

富文本图（text-rich graphs），即富有文本特征的图，这些文本以节点和边属性的形式存在。

针对以上图分类：

大模型和图结合的方式主要有三种：

1.大模型作为预测器：将图的embedding和text的embedding都输入llm进行预测，图embedding的方式可以经过gnn的产出，也可以用其他方式（文本描述），大模型负责预测给出最终答案。

2.大模型作为校准器：图经过gnn，text经过llm，然后对两部分的输出进行对齐或者校准。

3.大模型作为编码器：将text经过llm的输出和图一起输入gnn，llm相当于text的编码器，获得特征向量。

二、下面是图的一些定义和符号

三、图神经网络和transformer

文中介绍，GraphSAGE和GAT的注意力机制都可归纳为公式（4）（5），主要是解决节点级任务而设计的。后来的GIN则探索解决图级的任务。

在后续的工作中，gnn的工作逐步解决过度平滑、过度压缩、可解释性和存在偏差等问题。

在图问题上，总结为以下三个方面：

 

 

其实就是大模型分别作为预测器、编码器和校准器三方面的应用。

四、按图的分类去结合大模型

这里的图主要分为三种：纯图、富文本图（节点和边的属性中含有大量文本信息）、图-文本对（针对每个图都有相应的文本解释或含义，如基因和蛋白质分子序列等图结构）

1.纯图

对于纯图来说主要聚焦于：直接回答、启发式推理和直接推理。

直接回答：就是将图、图结构的描述或者图编码输入到llm，直接生成答案；

启发式推理：类似于llm的cot推理（思维链），就是引导大模型在图结构的基础上去做一些思维链方面的工作如dfs和bfs去检索子图，进而进行推理。

算法推理：基于明确的算法去做推理，生成answer。（文中介绍有点模糊）

2. 富文本图

主要从预测器、编码器和校准器三方面阐述。

 

（持续更新）