大模型时代图机器学习：探索AI的深度与广度

01

图机器学习发展历程

图是用于描述和建模复杂系统的一种通用语言。由“点”和“边”构成的交互系统都可以通过图来建模，如社交网络、金融网络等等。

图被定义为有序二元组(V, E)，其中 V 是顶集，E 是边集，图机器学习则是将机器学习用于图数据。关于图的研究经历了漫长的发展历程，1736 年欧拉对哥尼斯堡七桥问题的研究，奠定了图论基础；1956 年 Dijkstra 提出最短路径算法，促进了图算法的发展；2002 年 Barabasi 对复杂网络长尾分布的研究推动了网络科学进步；2013 年图信号处理概念提出；2014 年 DeepWalk 算法开启了图嵌入研究；2017 年图神经网络兴起，让图数据有了强大的学习能力。

图数据是非欧数据，与语言、图像数据有本质区别。图数据由节点和边组成，节点数量和连接方式多样，不像欧氏空间数据那样有固定的维度和顺序。

不同领域数据所构成的图结构会有很大差别，按不同的构图方式又可分为同质图、异质图、超图等。

下游任务包括节点级别任务（如节点分类、回归、聚类）、边级别任务（如链接预测、最短路径预测）和图级别任务（如图分类、生成、压缩）。

图表示学习是近年来的一个热点研究方向，其通过将网络中的每个节点嵌入到低维向量空间，用低维向量表示节点的结构特性。

图表示学习的方法可分为浅层模型和深度模型两大类。其中浅层模型主要采用基于随机游走的方法，将拓扑结构转换为序列结构，典型算法包括 DeepWalk、node2vec 等；深度模型采用基于图神经网络的方法，如 GCN、GraphSAGE等。

图神经网络的学习流程一般为：输入图拓扑和节点特征，进行初始化，将节点特征进行 embedding 得到初始特征，继而迭代优化，聚合当前节点及其邻居的表示，再经过非线性化，最后进行预测。

GNN 的发展虽短，但已衍生出多种研究方向，包括谱图学习、图结构学习、自监督学习、可信学习、异配图学习、自动统计学习、表达能力研究、图技术模型等。在异质图神经网络领域，本团队提出了该领域的经典模型——HAN 模型。

02

当图模型遇到大语言模型

了解了图技术的发展脉络后，接下来探讨大语言模型。

基础模型是在广泛数据上训练并可以应用于各种下游任务的模型。基础模型已在语言、视觉、语音等领域得到了实际应用。

基础模型具有两大特点：涌现和同质化。涌现，即随着模型规模扩大，会自发展现出新的能力。同质化，即模型具有多功能性，能够在各种应用场景中进行部署。

大语言模型是指参数量巨大的预训练语言模型，是基础模型的典型代表。

大语言模型主要处理语言数据，而语言数据是一种序列数据、欧式数据。大语言模型主要基于 Transformer 架构，主要任务是对下个单词进行预测。下游任务有成百上千种，如机器翻译、情感分析等。

大语言模型无法解决图的问题，从数据角度看，图数据结构与语言序列结构有本质不同，大模型难以建模图结构语义；从任务角度看，大模型难以处理多样的图任务。

另一方面，图模型不具备大模型的能力。图模型的表达能力有限，存在过平滑、过压缩的问题，没有涌现能力，也难以支持多任务。

鉴于此，团队提出了图基础模型，其是一个在广泛的图数据上预训练的模型，适用于不同的下游图任务。

图基础模型与语言基础模型的相似之处在于二者具有相同的愿景目标和相似的学习范式。而差异在于数据和任务的独特性，以及技术的差异性。

03

图基础模型前沿突破

当前图基础模型尚未形成明确的解决方案，但已成为图学习领域的研究热点。基于对图神经网络（GNN）和大语言模型（LLM）的依赖，现有探索可分为三大方向：基于 GNN 的模型、基于 LLM 的模型，以及基于 GNN+LLM 的模型。

基于 GNN 的模型，通过对 GNN 模型架构、预训练和适配方面的创新来增强现有的图学习能力。

基于 LLM 的模型，将图转化为文本或标记，探索将 LLM 用作图基础模型的可行性。

结合 GNN 和 LLM 的模型，旨在探索二者之间协同作用的方式，以增强图学习能力。

石川教授团队针对面向图数据的大模型关键问题，围绕图转换器、图对齐大语言模型、基于图工具的大语言模型预测器，进行了深入探索。接下来将介绍三个相关工作。

1. 图转换器 CoBFormer

图转换器的基本思想是利用 Transformer 架构的全连接层来处理图数据，其中的关键之一是如何将节点的位置信息编码进 Transformer 架构中。然而，这里存在一个问题：图转换器的全局化性质是否总是有益？

通过理论分析和实验验证发现图转换器中的存在过全局化问题，即并非总是有益的。为解决此问题，团队提出通过聚类方式将节点信息分成不同的簇，通过解耦簇内局部信息和簇间全局信息缓解过全局化问题，通过协同训练融合结构信息和特征信息。

通过在七个同配图、异配图以及大规模网络数据集进行实验，证明相比其他基线模型在节点分类任务上有显著的性能提升，可大幅减少显存需求，并有效缓解过全局化问题。

2. 图对齐大语言模型 GraphTranslator

第二个工作是图对齐大语言模型，旨在研究如何对齐图模型到大语言模型空间，同时处理图上传统预定义任务与开放式任务。

通过设计一个 Translator 层，将图模型的表示向量翻译到大语言模型的 token 空间，利用图模型处理预定义任务，大模型处理开放式任务。

通过在淘宝业务数据集和公开文献数据集 ArXiv 上进行实验，零样本分类任务取得最佳性能。多轮对话形式下的开放式问答显示了更好的交互结构信息处理能力，显著提升了回答的深度和细致程度。

3. 基于图工具的大模型预测器：LLM4Graph

第三个工作是希望大模型能够像专家一样使用工具解决图问题。因此设计了一个大模型 Agent，使其能够像专家一样，针对不同任务，自动调用相应工具进行处理。

研究思路如下：

（1）首先提出 ProGraph 图任务基准，涵盖图理论、统计和表示等复杂问题，用于评估现有模型和方法的图任务处理能力；

（2）构造训练数据集，通过 RAG 的方式提升闭源模型能力，并通过指令微调提升开源模型能力。

实验表明，LLM 在 ProGraph 基准表现不佳，但是可以通过 LLM4Graph 显著增强性能。

04

从模型突破到生态重构

团队在图机器学习模型领域开展了大量工作，希望利用大模型，更好地处理图数据。

团队开源了首个异质图神经网络平台 OpenHGNN 和首个支持多深度学习框架的图神经网络平台 GammaGL，可以帮助快速解决图机器学习应用相关问题。

团队联合国内顶尖高校和企业共同制定了国际上首部图神经网络标准（20230718-T-469），该标准已通过团标、国标及 HVE 标准的审查。

05

未来挑战

图基础模型作为当前图学习领域的研究热点，虽已取得显著进展，但仍面临多重挑战：

• 在同质性方面，跨领域结构知识迁移机制尚未明确，现有研究主要聚焦数据和任务的统一处理，而图结构常识与本质特性表达仍属理论空白；

• 在知识涌现层面，相关探索尚处初级阶段，模型是否具备参数与算力层面的"大模型"特性（与传统大语言模型相比）及其优劣仍存争议；

• 在模态融合方向，图数据能否成为多模态大模型的必要组成尚未形成共识，但在代码逻辑解析、药物分子设计等特定场景中，图结构已显现出不可替代性；长远来看，图模型凭借对序列与网格结构的兼容优势，或将成为多模态数据处理的基础架构。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】