一篇大模型在生成式图谱分析方面的综述

图（graph）是一种基本的数据模型，用于表示社会和自然界中各种实体及其复杂关系，例如社交网络、交通网络、金融网络和生物医学系统。大型语言模型（LLMs）展示了强大的泛化能力，在应对泛化图任务的挑战方面具有优势，它们通过消除训练图学习模型的需要和减少手动注释的成本，提供了显著的优势。

对现有的LLM在图数据上的学习研究进行了全面的综述，总结了基于**LLM的生成式图分析（LLM-GGA：LLM-based generative graph analytics ）**的三个主要组成部分：

图1: LLM-GGA领域的说明：基于LLM的图查询处理（LLM-GQP），它需要将图分析技术和LLM提示融合以进行查询处理；基于LLM的图推理与学习（LLM-GIL），专注于图上的学习和推理；以及采用图-LLM框架来解决非图任务的基于图的LLM应用，例如推荐系统。

将LLM-GGA三个主要组成部分细分为六个研究方向：

• 图结构理解（Graph Structure Understanding）：LLMs是否能够理解和解决图算法问题，包括图结构的识别和图挖掘任务。

• 图学习（Graph Learning）：LLMs在结合图结构和属性进行学习方面的潜力，如节点分类、图分类和生成图查询语言（GQL）。

• 图形式推理（Graph-formed Reasoning）：LLMs如何使用图结构来模拟人类推理过程，解决更复杂的算法、逻辑和数学问题。

• 图表示（Graph Representation）：如何通过LLMs增强图的表示能力，特别是文本属性图（Text Attributed Graphs, TAGs）。

• 知识图谱增强检索（KG-based Augmented Retrieval）：LLMs与知识图谱（Knowledge Graphs, KGs）的关系，以及如何通过KGs增强LLMs在处理事实知识方面的能力。

• 基于图+LLM的应用（Graph-LLM-based Applications）：图-LLM框架如何被用于解决非图任务，例如推荐系统、对话理解和响应预测。

一、图结构理解

图结构理解任务：评估LLMs是否能够理解图结构，包括简单的查询，如邻居节点、最短路径、连通性，以及更复杂的任务，如最大流问题和拓扑排序。

介绍了21个不同的图结构理解任务，例如图大小检测、节点度数检测、连接节点搜索、边检测、简单路径和最短路径搜索、属性检索、图密度计算、节点的偏心率计算等。

图 2：21个不同图结构理解任务

两种主要的方法来处理图结构理解任务：

• 提示方法（Prompting method）：通过精心设计的提示引导LLMs更好地理解图结构，并理解图任务的目标，从而提高图相关任务的性能。

• 监督微调（Supervised fine-tuning, SFT）：通过在特定图数据集上微调LLMs来增强其结构理解能力。

提示类型

• 手动提示：研究人员直接编写的提示，用于引导LLMs。

• 自提示：LLMs通过不断更新初始提示来帮助自己更好地理解任务。

• API调用提示：LLMs被训练为能够调用外部工具来解决复杂的图任务。

图3：在图结构理解任务中prompt方法：手动提示、自提示和API调用提示。

图4：图结构理解任务的提示，其中 [graph] 是数据的输入

图5：使用 GPT 3.5 的二分图匹配任务示例 - 图结构理解任务

监督微调

基于LLM的监督微调，如图6所示。GraphLLM致力于解决LLMs在图推理方面的障碍，并引入了一个混合模型，该模型继承了图学习模型和LLMs的能力，使LLMs能够利用图学习模型的优越表达能力，熟练地解释和推理图数据。

图6：在图结构理解任务中的监督微调（SFT）方法。上图展示了前缀调整：在前缀调整中结合图结构和文本信息作为前缀，并带有指令（如GraphLLM）输入到LLM中。也可以使用指令调整。

二、图学习任务

图学习任务：LLMs在图学习任务中的多种应用，包括节点分类、图分类、边分类、节点生成、知识图谱问答（KGQA）、图查询语言（GQL）生成和节点特征解释等。

六个图学习任务与prompt

专注于图学习任务的LLM-GIL研究可以分为三个主要类别：LLMs作为增强器、LLMs作为预测器，以及图提示。

• LLMs作为增强器（LLMs act as enhancers）：利用LLMs对文本的高级语义理解、强大的推理能力，通过编码图信息到嵌入、生成图伪标签和提供外部知识或解释来增强GNNs的性能。

• LLMs作为预测器：当LLMs作为预测器时，它们通常直接被用作独立的预测器。将LLMs作为预测器集成的关键方面在于精心设计一个包含文本属性和图结构的提示，使LLMs能够有效地理解图结构并提高预测准确性。

• 图提示：在图学习任务中使用提示的方法，这些提示旨在统一预训练和下游任务，并通过提示工程来优化不同下游任务的性能。

三、图形式推理

7种图形式推理的任务与prompt

图形式推理的方法，分为两种：think on the graph 和 verify on the graph：

• think on the graph方法将图作为LLM推理过程中的中间步骤，通过添加LLM的响应到图上，构建一个有向无环图(DAG)，表示LLM的推理过程。这样，LLM的推理过程可以用图的形式表示。

• verify on the graph方法通过验证LLM输出的中间或最终结果是否与图中的信息一致，从而提高LLM的推理性能。具体地，将LLM的输出作为图中的节点，通过验证图中的不同路径的输出是否一致，判断LLM的推理结果是否正确。

图形式推理。两个方向：在图上思考和在图上验证。在图上思考指的是在大型语言模型（LLMs）的推理过程中，利用图结构推导出最终结论。在图上验证指的是利用图来验证LLMs中间和最终输出的正确性。

四、图表示

LLMs（大型语言模型）强大的文本表示能力使文本嵌入能够捕捉到更深层次的语义细微差别，这也能够增强图形表示，特别是对于文本属性图（Text Attributed Graphs，简称TAGs）。在处理结构化文本数据时，关键挑战是将图形结构整合到LLMs生成的文本嵌入中，以增强其信息量或使LLMs能够在文本空间内处理具有图形结构的文本嵌入。有效地将图形描述纳入提示中对LLMs至关重要，特别是在像ChatGPT这样的封闭源模型中，嵌入是不可见的。图形在提示中如何编码影响着模型对图形的理解。总结了三种类型的图形表示：

1. 图嵌入：图嵌入专注于将图转换为特定的有序序列，然后将该序列输入到大型语言模型（LLM）中，利用它们出色的语义捕捉能力来学习序列的嵌入，并由此推导出图的嵌入。

2. 图增强文本嵌入：图增强文本嵌入强调将结构嵌入纳入文本嵌入中。有两种类型的嵌入：结构嵌入，它捕捉局部结构；文本嵌入，它捕捉语义含义。如何结合这两种类型的嵌入是图增强文本嵌入的核心。

3. 图编码提示：图编码提示集中于如何描述一个图，以便大型语言模型（LLM）能够更有效地理解它，然后将其输入到LLM中。例如，在常规图中，可以通过假设节点之间的关系是朋友或同事，将图置于故事背景中

图表示。展示了三种类型的图表示：图嵌入、图增强文本嵌入和图编码提示。图嵌入方法使用特定的有序序列来表示图。图增强文本嵌入强调将结构嵌入整合到文本嵌入中。图编码提示专注于如何在提示中描述一个图。

五、知识图谱增强检索

LLM在处理事实知识时存在虚构（hallucination）、领域知识不足、知识遗忘和知识准确获取方面的局限性，而KG提供了结构化的知识，可以提供更可靠的信息来源。

解决LLM局限性的方案：包括利用KG检测LLM的虚构、增强LLM的领域知识、整合KG到LLM以增强知识提取能力，以及利用KG增强LLM的推理能力。

其他KG+LLM工作：介绍了利用KG和LLM解决知识图谱相关任务，如知识图谱嵌入、补全、构建、图到文本生成和问答等。

基于知识图谱的增强检索。知识图谱可以增强大型语言模型（LLMs），以提供更全面的答案。

六、基于图+LLM的应用

图-LLM应用是指将图与大语言模型结合的框架，不仅用于图相关任务，也可用于各种其他领域，例如对话理解和推荐系统。常见框架包括将GNN与LLM相结合、将图数据与LLM相结合，以及探索利用图结构和语言模型的优势来解决不同任务的创新方法。例如：对话理解、响应预测、多域对话状态跟踪、推荐系统、图神经架构搜索等领域的应用。

七、评估方法与基准

LLM-GGA方法的总结，包括数据集和code链接

六个细分研究方向的数据集

新数据集与评价指标

A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications``https://arxiv.org/pdf/2404.14809

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】