目录
1.LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs [AAAI '24]
2. LLMRec: Large Language Models with Graph Augmentation for Recommendation [WSDM '24]
3. LLM-Guided Multi-View Hypergraph Learning for Human-Centric Explainable Recommendation
4. Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations
6. Explicit Knowledge Graph Reasoning for Conversational Recommendation [TIST '23]
8. Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks [WWW '24]
10. Integrating Large Language Models with Graphical Session-Based Recommendation
12. Large Language Model with Graph Convolution for Recommendation
13. Can GNN be Good Adapter for LLMs? [WWW'24]
14. Exploring the Potential of Large Language Models (LLMs)in Learning on Graphs [KDD '23]
15. Graph Neural Prompting with Large Language Models
16. GraphGPT: Graph Instruction Tuning for Large Language Models [SIGIR '24]
18. Knowledge Graph Prompting for Multi-Document Question Answering [AAAI '24]
19. OpenGraph: Towards Open Graph Foundation Models
20. GraphPro: Graph Pre-training and Prompt Learning for Recommendation [WWW '24]
图与大型语言模型
在 AI 新时代，图与大型语言模型能擦出什么火花？这是一个值得「深挖」的重要课题。
2021 年 3 月，知名 IT 咨询公司 Gartner 在《2021 年十大数据和分析技术趋势》报告中表示，图技术已经成为很多现代数据和分析能力的基础，并预测到 2025 年，图技术将应用于 80% 的数据和分析创新。
同时，2021-2023 世界人工智能大会连续三年举办了图技术相关分论坛，引起了学界和业界的广泛关注和热烈反响。
不难看出，近年来图技术非常被看好。图技术一般指图数据管理和分析技术，研究客观世界实体之间的关系，涉及大量异构数据、存储和分析。包括图计算、图学习、图数据库等一系列与图技术原理相关的技术更汇聚形成图智能，并被认为是人工智能领域下一个前沿高地。
进入到了 2023 年，随着大模型成为人工智能发展的主流趋势，它们与图计算等图智能技术的融合成为全新的研究命题。近期，一些学者也开始关注大图模型概念，如清华朱文武教授团队最新论文《Large Graph Models: A Perspective》，介绍了大型图模型面临的挑战、机遇和应用前景。
我们不禁要问，图智能与大模型之间的关系如何处理呢？二者的融合最终会往哪个方向发展？这些问题或许只有经过学界与业界共同研究、探讨之后才能得到更全面、更可信、更有操作性的答案。
在上周由蚂蚁技术研究院和中国计算机学会数据库专委主办的 2023 外滩大会「新一代数据底座 —— 探索图智能的应用与发展」分论坛上，海内外顶尖专家、学者和从业者聚焦图智能领域的最新进展，对人工智能、大语言模型（以下简称大模型）与图智能技术的融合展开了深度解构。
蚂蚁技术研究院院长陈文光
推出大图模型，蚂蚁图智能先人一步
在这场论坛上，我们见证了图智能与大模型融合研究的一项重要成果。那就是蚂蚁推出的大图模型（Large Graph Model, LGM），它将图计算、图学习等图智能技术与大模型相结合，同时释放大模型的生成能力和图计算的关联关系分析能力，通过更直观、全面的信息呈现和更精准的洞察，更好地解决海量复杂的数字化应用难题。
在谈到为何会将图计算这一强大的数据处理技术与大模型这一最有可能走向通用人工智能的技术相互驱动、融合利用时，蚂蚁集团图学习高级技术专家刘永超表示，大模型虽可以推理出隐性关联关系，但无法绘制关系图，而使用图结构表示数据关系更便于理解。如果给大模型「配上」图计算，则先从海量信息中逻辑推理，再利用超级计算算出关系。「这类似于给人脑外接了一台超级计算机，能力更强了。」
他进一步解释称，大模型在本质上完成了对文字、图像、视频等数据的信息压缩。因此他们开始思考这种将高维空间数据压缩到低维空间的信息编码方式对研究图智能的启发。结果显而易见，蚂蚁将信息更丰富的图数据压缩到大模型中，打造出了大图模型。简单来讲，大图模型以图为核心，融合了预训练、LLM 和提示等技术构建的压缩图信息。
至于大图模型能解决哪些核心问题？刘永超总结了以下几点，一是解决数据稀少、多样性缺失、数据分布不均甚至数据隐私、安全、保密等问题，提升数据质量、多样性、公平性、安全性；二是通过快速的图样本生成，减少对耗时耗钱数据采集和标注的依赖；三是基于提示词能够发现和解释数据特性。
刘永超
在大图模型研究中，蚂蚁一方面完成了第一阶段「生成式异质图增强」工作，也是业界首个，可以根据现有数据生成新的数据点。相关论文《Multi-Aspect Heterogeneous Graph Augmentation》被计算机顶会 WWW 2023 收录。另一方面通过 Prompt（指令或提示）引导模型学习和发现特定数据特性，加速数据分析和特性发现的过程。
蚂蚁内部也就 LGM 能做什么展开深层次业务实践探索，目前至少可以用作商业场景通用风险模型、全网账户画像基座模型和大规模图策略推荐。除了大图模型，刘永超还分享了图计算赋能大模型的工作，主要是图向量数据库和图增强的大模型。其中图增强的大模型使用图数据尤其是知识图谱，来辅助解决大模型遇到的幻觉、行为不对齐、有毒等难题。
大图模型的出现为大模型和图计算两个领域都带来了新的机遇，为两个领域携手发展提供了一条路径。一方面利用图计算补足大模型在图生成、推理、理解等方面的不足，提升解决图任务的效果。另一方面融入大模型更高效地助力破解图领域难题，为图智能走向通用人工智能提供一条可行性方案。可以说，蚂蚁率先开始大图模型的研究，充分体现了其在大模型时代把握技术潮流方面的前瞻性，也必将为图智能的进一步应用与发展带来助益。
其实在图计算领域，蚂蚁一直是引领者。作为国内最早研究图计算技术的企业之一，蚂蚁不仅构建了世界规模领先的图计算集群，还形成了一套以图数据库为底座、包含流式图计算、离线图学习的大规模图计算平台 TuGraph。TuGraph 曾三次打破图数据库权威测评 LDBC SNB 世界纪录，2021 年获得世界互联网大会「领先科技成果」奖，2023 年入选 IDC MarketScape 中国图数据库市场「领导者」象限。
蚂蚁积极把图计算能力向外开放。其中 TuGraph 平台中的图数据库 TuGraph DB 3.3 于 2022 年 9 月正式开源。此次论坛蚂蚁集团图数据库开源负责人林恒分享了最新的 TuGraph-DB 4.0 版本以及蚂蚁全栈图智能计算架构。自开源以来，TuGraph-DB 经历了云上一键部署、Python 算法接口、POG 支持、图学习引擎、高可用等阶段，最终形成了 4.0 版本，并计划于 2024 年 1 月推出下一代存储引擎。
林恒
那么，TuGraph-DB 4.0 具备哪些核心功能呢？第一点是支持标准化图查询语言 ISO GQL，它的定位可以类比 SQL 查询语言，极大地降低图的使用门槛；其次是高可用性，基于 RAFT 协议实现多活热备、一写多读，提供企业级的能力；接着是强大的图学习能力，和数据库结合后能够实时采样，兼容 DGL、PyG 等常见图学习框架；最后丰富了易用的接口，存储过程支持 Python、C++、Rust 等多语言。一切为了更简单易用、功能完备，并选择将一些企业级功能开放，完善生态建设。
回到蚂蚁内部，林恒表示正根据各业务的多样化需求来升级图数据库，对图的使用从以往的「散点式」发展为了「体系式」。升级后可以同时具备多源数据融合能力、HTAP 型图融合能力以及图智能、图挖掘能力，实现一库多能，提升交互体验。此外它作为蚂蚁图智能计算全栈解决方案的底层部分，连同图计算和统一 API 接口、一站式研发平台为实现丰富的图应用提供数据、算力和平台支撑。
目前，蚂蚁更多关注成熟的金融场景，比如风控、审计等。不过林恒也认为，图数据库具备的通用性可以在智能制造、CRM 等其他场景大显身手。同时持续关注图生态、行业标准等，其主导发起的全球首个金融图数据库测试基准 LDBC FinBench 已于今年 6 月正式发布，为金融行业提供了一个量化的基准测试工具。
图技术一直在进步，并正在思考大模型时代如何演进
在蚂蚁集团等业界探索图智能与大模型融合创新的同时，学界和科研机构也在推进图技术向前发展，寻找与大模型的契合点。
我们知道，任何数据都绕不开数据库管理系统（DBMS），图数据亦然。根据知名数据库流行度排行网站 DB-Engines 的统计，自 2013 至 2022 年，图数据库管理系统的受欢迎程度增长比任何其他数据库类别都快。图已经无处不在，但面临扩展性、可视化和查询语言等方面的挑战，学界研究的图与实际使用中的也存在脱节。这些都是流图（Straming Graph）类型兴起的原因。
对于图而言，加拿大滑铁卢大学教授 M. Tamer Ozsu 解释称，流意味着无界和高速度，流图也不等同于动态图。流数据不是静止的，而是流入一个系统，比如流音乐或流视频，这类系统被称为数据流系统（DSS）。DSS 与传统 DBMS 的最大区别在于瞬态数据可以通过持续查询生成连续的结果。数据流处理系统（DSPS）可能无法提供全部的 DBMS 功能，但几乎都具备扩展功能。
M. Tamer Ozsu
对于流图，目前可以应用在电子商务欺诈检测（如信用卡欺诈）和网络入侵检测（如 DOS 攻击）。流图计算模型一方面是连续的，需要处理每条边以及线性空间；另一方面呈窗口化，使用窗口来批处理边缘。流图工作负载表现在两个方面，一是图查询，每个查询访问图的一部分。二是图分析，每个查询访问整个图。
如 M. Tamer Ozsu 教授最后所言，流图真实存在于现实生活的应用中，如实时决策。不过他也认为，我们并没有对流图面临的挑战（比如流的无界性）给予足够的重视。因此可以说，从静态图到流图，整个领域目前是开放的。
除了图自身的演进之外，在图发挥重要作用的知识图谱（KG）领域也迎来新的技术变革时刻。那就是在大模型时代，知识图谱如何把握新机遇并迎战新挑战。
对此，浙江大学计算机学院教授陈华钧指出，知识图谱是图智能的重要支撑技术。随着 ChatGPT 的兴起，人们开始关心知识图谱与大模型的关系。二者都是表示和处理知识的方法，只是在可解释性、知识类型和可计算性上存在差异。自然语言可以被人类理解，但不易于计算，催生了较容易计算处理的知识图谱。大模型虽易于计算处理，但完全不可理解，导致它们面临知识谬误、幻觉等问题。
这时出现一个值得深思的问题，大模型为了易于计算所付出的代价能不能通过知识图谱来弥补？陈华钧认为二者可以融合共同发挥作用。
一方面是大模型知识栈中的知识图谱，它通过知识增强和结构增强（引入不同类型的结构信号、从外部知识库检索）、知识图谱结合提示学习、知识编辑、思维链结构化、工具调用与增强、可控内容生成等方式，分别在大模型的预训练、适应与调整、应用与交互三个阶段发挥作用，有效提升模型训练以及对下游任务的泛化能力。
另一方面是知识图谱栈中的大模型，它有助于解决传统的知识图谱问题。GPT 等大模型具备较强的指令驱动型图谱构建和泛化抽取能力，对比传统图谱构建优势明显。此外利用结构化知识大模型可以执行知识图谱等结构化知识的逻辑查询、问答等操作。在推理时，大模型既可以作为知识图谱推理的自然语言交互接口以增强后者，也能将自身具备的推理与知识图谱推理实现交互增强。
陈华钧
在陈华钧看来，大模型技术的发展代表了 AI 表示和处理知识能力的大幅提升。虽然会对知识图谱带来冲击，但随着其与语言模型的深层次融合，未来可能演进出一个全新的知识图谱技术方向。相较于表示知识有限的序列结构的自然语言，包含图的结构化描述更易于描述客观世界。因此，相对于大模型（LLM）而言，他认为我们更需要可以处理各种知识表示结构的大型知识模型（LKM）。
在知识图谱与大模型的「互补共进」之外，聚焦于某个领域的图预训练大模型已经开始崭露头角。之江实验室图计算中心副主任陈红阳展示了面向生物制药领域的朱雀图预训练大模型，其潜在应用方向包括药物分子生成、药物性质预测、药物结构预测等。
不过想做生物制药 GPT 谈何容易，面临着很多挑战，比如如何应对生物领域的非欧结构数据、如何解决图神经网络过平滑和数据标签稀疏问题。图计算中心见招拆招，一一解决对应的问题，最终完成模型训练。整个大模型的训练很难，需要不断尝试。他们采取并行策略，已经进行了 128 张 DCU 卡的稳定性试验。目前正在扩展至 1024 张 DCU 卡，相应的端到端平台也将开源。
同时，之江朱雀图计算平台面向科学计算领域，尤其是天然拥有与图关联数据的计算育种、生物制药和量子化学。作为一站式平台，它在计算引擎、图存储、软硬件适配、计算资源等多方面都做了优化。陈红阳重点介绍了一些前沿图学习算法，其中自研孪生图神经网络 PSG 算法刷新国际顶级图学习榜单 OGB 挑战赛记录。此外基于平台在药物知识图谱、计算制药、高能物理、量子图机器学习等领域均有应用与创新。
陈红阳
展望未来，陈红阳希望围绕图与科学计算（即 Graph4SCI）进一步探索，通过深入优化把软硬件协同和异构系统计算做得更好，争取实现更多的国产软硬件适配和算力加速。同时继续深耕图计算技术及气候、地理、生物和量子化学等领域应用，通过与更多企业、高校和科研机构共享数据、平台和算力，推动图智能在科学研究中进一步发展。
以上种种，我们可以看到，无论是知识图谱还是图计算，图技术一直在更迭变化之中，以适应不同科研领域及多样化应用场景的需求。更显著的一点是，人们已经开始思考如何将图与大模型融合，并付诸行动，从而能够把握住大模型引领的这股 AI 技术浪潮。
图智能 + 大模型：未来的路还很长
此次论坛出现了很多新的概念，比如大图模型、图预训练大模型以及大型知识模型等。我们从中可以看到这样一种趋势，自 ChatGPT 以来，包括图计算在内的很多技术领域或许都无法回避与大模型的融合研究。只有把握住这一技术奇点，才更有可能在原有技术范畴内进行革新，更高效地赋能业务实践。
可以预见，未来大模型和图智能技术结合的更多可能性将会被逐渐挖掘出来。正如陈文光所言，二者之间的关系是当前最重要的问题。在这个非常值得探索的发展方向上，需要包括蚂蚁在内的更多业界先行者持续创新图与大模型融合技术、构建平台、建设更广泛的生态。
未来的路虽然漫长，但对于蚂蚁来说，已经走出了领先的一步。相信未来大图模型应用的场景会越来越多，图智能领域也将一步步迈向自己的 AGI 时刻。
参考文献：
https://arxiv.org/pdf/2308.14522.pdf
https://www.gartner.com/cn/newsroom/press-releases/gartner_2021_
参考
论文合集 | 图大模型推荐研究
大型语言模型（LLMs）已经彻底改变了自然语言处理任务，而其与图神经网络（GNN上）之间又会擦出怎样的火花呢？本文汇总了20篇与图大模型相关的论文（主要以推荐系统领域为主），展示最新的工作研究进展。
1.LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs [AAAI '24]
推荐系统旨在为用户提供相关建议，但通常缺乏可解释性，并且未能捕捉到用户行为和偏好之间的更高级语义关系。本文提出了一种新颖的方法，利用大型语言模型（LLMs）构建个性化推理图。这些图通过因果推断和逻辑推理将用户的偏好和行为序列联系起来，以可解释的方式表示用户的兴趣。我们提出LLM推理图（LLMRG），主要包括四个组成部分：链式图推理、分支扩展、自我验证和评分以及知识库自我改进。生成的推理图使用图神经网络进行编码，作为额外的输入来改进传统的推荐系统，而不需要额外的用户或物品信息。我们的方法展示了LLMs如何通过个性化推理图实现更加逻辑和可解释的推荐系统。LLMRG使得推荐性能能够从工程化推荐系统和LLM推导的推理图中受益。
2. LLMRec: Large Language Models with Graph Augmentation for Recommendation [WSDM '24]
数据稀疏性一直是推荐系统中的一个挑战，先前的研究尝试通过整合辅助信息来解决这个问题。然而，这种方法经常引入诸如噪声、可用性问题和低数据质量等副作用，进而阻碍了对用户偏好的准确建模，并对推荐性能产生不利影响。鉴于大型语言模型（LLMs）最近的进展，它们拥有丰富的知识库和强大的推理能力，我们提出了一种新颖的框架，称为LLMRec，通过采用三种简单而有效的基于LLMs的图增强策略来增强推荐系统。我们的方法利用在线平台（例如Netflix、MovieLens）中丰富的内容以三种方式增强交互图：（i）加强用户-项目交互边，（ii）增强项目节点属性的理解，（iii）从自然语言的角度直观地进行用户节点剖析。通过采用这些策略，我们解决了推荐系统中稀疏隐式反馈和低质量边缘信息所带来的挑战。此外，为了确保增强的质量，我们开发了一种去噪数据鲁棒化机制，包括噪声隐式反馈修剪和基于MAE的特征增强技术，帮助改进增强数据并提高其可靠性。此外，我们提供了理论分析来支持LLMRec的有效性，并澄清了我们的方法在促进模型优化方面的好处。基准数据集上的实验结果表明，我们基于LLMs的增强方法优于最先进的技术。
3. LLM-Guided Multi-View Hypergraph Learning for Human-Centric Explainable Recommendation
随着个性化推荐系统在信息过载时代变得至关重要，仅依赖历史用户交互的传统方法往往无法充分捕捉人类兴趣的多面性。为了实现更具人性化的用户偏好建模，本文提出了一种新颖的可解释推荐框架，即LLMHG，将大型语言模型（LLMs）的推理能力与超图神经网络的结构优势相结合。通过有效地对个体用户兴趣的细微差别进行剖析和解释，我们的框架开创了提升推荐系统可解释性的新途径。我们验证了明确考虑人类偏好的复杂性允许我们的以人为中心和可解释的LLMHG方法在各种真实世界数据集上持续优于传统模型。所提出的即插即用增强框架在提高推荐性能的同时，为将先进的LLMs应用于更好地捕捉跨机器学习应用中的人类兴趣复杂性提供了一条途径。
4. Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations
大型语言模型（LLMs）已经彻底改变了自然语言处理任务，在各个领域展示了其卓越的能力。然而，它们在职位推荐中对行为图理解的潜力仍然大部分未被开发。本文着重揭示大型语言模型在理解行为图方面的能力，并利用这种理解来增强在线招聘中的推荐，包括促进OOD的应用。我们提出了一个新颖的框架，利用大型语言模型提供的丰富上下文信息和语义表示来分析行为图并揭示其中的潜在模式和关系。具体而言，我们提出了一个元路径提示构造器，利用LLM推荐器首次理解行为图，并设计了相应的路径增强模块，以减轻基于路径的序列输入引入的提示偏差。通过利用这种能力，我们的框架能够为个体用户提供个性化和准确的职位推荐。我们在一个全面的数据集上评估了我们方法的有效性，并展示了其提高推荐相关性和质量的能力。这项研究不仅揭示了大型语言模型尚未开发的潜力，而且为在招聘市场开发先进的推荐系统提供了宝贵的见解。这些发现对于自然语言处理领域的不断发展具有重要意义，并提供了增强求职体验的实际影响。
5. Variational Reasoning over Incomplete Knowledge Graphs for Conversational Recommendation [WSDM '23]
会话式推荐系统（CRSs）通常利用外部知识图谱（KGs）引入丰富的语义信息，并通过自然语言对话推荐相关项目。然而，现有CRSs中使用的原始KGs通常是不完整且稀疏的，这限制了推荐中的推理能力。此外，现有研究中只有少数利用对话上下文来动态地优化来自KGs的知识以实现更好的推荐。为了解决以上问题，我们提出了变分推理不完整KGs对话式推荐系统（VRICR）。我们的关键思想是将自然伴随CRSs的大型对话语料库结合起来，以增强不完整的KGs；并在对话上下文的条件下进行动态知识推理。具体而言，我们将KGs的对话特定子图表示为具有自适应知识图重构的分类先验的潜变量。我们提出了一种变分贝叶斯方法来近似对话特定子图的后验分布，这不仅利用对话语料库重构缺失实体关系，而且根据对话上下文动态选择知识。最后，我们将对话特定子图注入到推荐和回复中。我们在两个基准CRSs数据集上进行了实验，实验结果证实了我们提出的方法的有效性。
6. Explicit Knowledge Graph Reasoning for Conversational Recommendation [TIST '23]
传统的推荐系统纯粹基于历史交互记录来估计用户对物品的偏好，因此无法捕捉细粒度且动态的用户兴趣，并让用户只能被动地接收推荐。最近的会话式推荐系统（CRSs）通过使推荐系统与用户进行交互，通过一系列澄清问题来获取用户当前的偏好，从而解决了这些限制。尽管在CRSs方面取得了进展，但现有解决方案在以下两个方面仍然存在不足：1）当前的CRSs通常需要用户在达到最终推荐之前回答一定数量的澄清问题，这会影响用户体验；2）已明确提到的属性和物品之间存在语义差距。为了解决这些缺点，我们引入了知识图谱（KG）作为理解和推理用户偏好的辅助信息，并提出了一种新的CRS框架，即知识增强对话推理（KECR）系统。由于用户可以通过属性和物品级别的表达来反映自己的偏好，KECR通过将结构化知识嵌入KG来缩小两个级别之间的语义差距。同时，KECR利用KG内部的连通性来进行用户需求的显式推理，使模型不那么依赖用户对澄清问题的反馈。KECR可以找到突出的推理链来使推荐更具解释性和合理性，并使对话过程更加顺畅，从而提高用户体验和会话推荐的准确性。在两个真实世界数据集上进行的广泛实验证明了我们方法在自动评估和人类判断方面优于最先进的基线方法。
7. Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [TNNLS '21]
会话式推荐系统（CRS）利用自然语言交互和对话历史来推断用户偏好并提供准确的推荐。由于对话上下文和背景知识的限制，现有的CRSs依赖外部来源（如知识图谱）来丰富上下文并基于实体之间的相互关系建模。然而，这些方法忽略了实体内部丰富的固有信息。为了解决这个问题，我们引入了知识增强实体表示学习（KERL）框架，该框架利用知识图谱和预训练语言模型来改善CRS中实体的语义理解。在我们的KERL框架中，实体文本描述通过预训练语言模型进行编码，而知识图谱帮助加强这些实体的表示。我们还使用位置编码来有效捕捉对话中实体的时间信息。增强的实体表示然后用于开发一个推荐组件，该组件融合了实体和上下文表示，以提供更具信息的推荐，以及一个对话组件，在响应文本中生成有关实体的信息。我们构建了一个高质量的知识图谱，其中实体描述对齐，以便促进我们的研究，即Wiki电影知识图谱（WikiMKG）。实验结果表明，KERL在推荐和响应生成任务中均实现了最先进的结果。
8. Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks [WWW '24]
在不断发展的数字音频领域，以音乐和谈话内容而闻名的Spotify最近向其庞大的用户群引入了有声读物。尽管前景看好，但这一举措为个性化推荐带来了重大挑战。与音乐和播客不同，最初需要付费的有声读物不能在购买前轻易浏览，因此对推荐的相关性提出了更高的要求。此外，将新的内容类型引入现有平台面临着极端的数据稀疏问题，因为大多数用户对这种新内容类型不熟悉。最后，向数百万用户推荐内容要求模型能够快速反应并具有可扩展性。为了解决这些挑战，我们利用播客和音乐用户偏好，引入了2T-HGNN，这是一个包含异构图神经网络（HGNNs）和双塔（2T）模型的可扩展推荐系统。这种新颖的方法揭示了细微的项目关系，同时确保了低延迟和复杂性。我们将用户与HGNN图分离，并提出了一种创新的多链邻居采样器。这些选择，加上2T组件，显著降低了HGNN模型的复杂性。涉及数百万用户的实证评估显示，个性化推荐的质量显著提高，导致新有声读物开始率增加了46％，流量率提高了23％。有趣的是，我们模型的影响不仅局限于有声读物，还惠及了像播客这样的已建立产品。
9. An Interpretable Ensemble of Graph and Language Models for Improving Search Relevance in E-Commerce [WWW '24]
在电子商务领域中，搜索相关性的问题是一个具有挑战性的问题，因为它涉及理解用户简短微妙查询的意图，并将其与目录中的适当产品进行匹配。传统上，这个问题是通过使用语言模型（LMs）和图神经网络（GNNs）来解决的，分别捕捉语义和产品间行为信号。然而，新架构的快速发展导致了研究与这些技术的实际应用之间的鸿沟。评估这些模型在部署中的泛化能力需要对复杂的真实世界数据集进行大量实验，这可能是不容易的和昂贵的。此外，这种模型通常在人类难以理解的潜在空间表示上运行，这使得评估和比较不同模型的有效性变得困难。这种缺乏可解释性阻碍了该领域新技术的发展和应用。为了弥合这一差距，我们提出了Plug and Play Graph LAnguage Model（PP-GLAM），这是一个可解释的插入式模型集成。我们的方法采用了一个模块化框架，具有统一的数据处理管道。它使用增加的解释度指标来独立决定是否包含（i）语言模型候选、（ii）GNN模型候选和（iii）产品间行为信号。对于搜索相关性的任务，我们展示了PP-GLAM在真实的多语言、多地区电子商务数据集上优于几个最先进的基线模型以及专有模型。为了促进更好的模型可理解性和采用，我们还提供了对我们模型的解释性和计算复杂性的分析。我们还提供了公开的代码库，并提供了一个实际实施的部署策略。
10. Integrating Large Language Models with Graphical Session-Based Recommendation
随着大型语言模型（LLMs）的快速发展，各种探索已经出现，以利用LLMs对上下文理解的能力在推荐系统中的应用。尽管开创性的策略主要是将传统的推荐任务转化为自然语言生成的挑战，但由于其特殊性，对于基于会话的推荐（SBR）领域的探索相对较少。SBR主要由图神经网络主导，由于其捕捉相邻行为之间的隐式和显式关系的能力，已经取得了许多成功的结果。图的结构性质与自然语言的本质形成对比，为LLMs提供了显著的适应差距。在本文中，我们介绍了一种名为LLMGR的大型语言模型与图形会话推荐相结合的有效框架，通过和谐地集成LLMs和图神经网络（GNNs）来弥合上述差距，用于SBR任务。这种集成旨在利用LLMs在自然语言理解方面和GNNs在关系数据处理方面的互补优势，从而构建一个更强大的基于会话的推荐系统，该系统能够理解和推荐会话内的项目。此外，为了赋予LLMs赋予强大的SBR任务能力，我们设计了一系列用于辅助和主要指令调整任务的提示。这些提示被精心设计，以帮助LLMs理解图结构化数据，并将文本信息与节点对齐，有效地将微妙的用户交互转化为LLMs架构可理解和利用的格式。在三个真实世界数据集上进行的大量实验表明，LLMGR优于几种竞争基线方法，表明其在增强SBR任务方面的有效性以及作为未来探索研究方向的潜力。
11. Breaking the Barrier: Utilizing Large Language Models for Industrial Recommendation Systems through an Inferential Knowledge Graph
推荐系统被广泛应用于电子商务网站和在线平台，以解决信息过载问题。然而，现有系统主要依赖于历史数据和用户反馈，难以捕捉用户意图的转变。最近，基于知识库（KB）的模型被提出来融合专家知识，但它很难适应新的物品和不断发展的电子商务环境。为了解决这些挑战，我们提出了一种新颖的基于大型语言模型的补充知识增强推荐系统（LLM-KERec）。它引入了一个实体提取器，从物品和用户信息中提取统一的概念术语。为了提供经济高效且可靠的先验知识，基于实体流行度和特定策略生成实体对。大型语言模型确定每个实体对中的补充关系，构建补充知识图。此外，一个新的补充召回模块和一个实体-实体-物品（E-E-I）权重决策模型利用真实的补充曝光-点击样本，改进了排名模型的评分。在三个行业数据集上进行的大量实验表明，我们的模型相比现有方法有显著的性能提升。此外，详细的分析表明，LLM-KERec通过推荐补充物品增强了用户对消费的热情。总之，LLM-KERec通过整合补充知识并利用大型语言模型捕捉用户意图的转变，适应新的物品，并提高在不断发展的电子商务环境中的推荐效率，解决了传统推荐系统的局限性。
12. Large Language Model with Graph Convolution for Recommendation
近年来，人们开始利用文本信息来更好地进行用户画像和物品特征化的推荐。然而，文本信息有时可能质量较低，从而影响其在实际应用中的有效性。随着大型语言模型（LLMs）中封装的知识和推理能力的发展，利用LLMs成为改进描述的一种有前景的方法。然而，现有的用原始文本提示LLMs的方法忽略了用户-物品交互的结构化知识，这可能导致生成描述不一致等幻觉问题。因此，我们提出了一种图感知卷积LLM方法，以激发LLMs捕捉用户-物品图中的高阶关系。为了使基于文本的LLMs适应结构化图，我们将LLM作为图处理中的聚合器，使其逐步理解基于图的信息。具体而言，LLM通过逐层探索多跳邻居来进行描述增强，从而逐渐在图中传播信息。为了使LLMs能够捕获大规模的图信息，我们将描述任务分解为较小的部分，这样可以在每个步骤中大大减少令牌输入的上下文长度。对三个真实世界数据集的大量实验证明，我们的方法始终优于最先进的方法。
13. Can GNN be Good Adapter for LLMs? [WWW'24]
最近，大型语言模型（LLMs）在理解和zero-shot学习文本数据方面表现出了卓越的能力，为许多与文本相关的领域带来了显著的进展。在图领域，各种现实世界的场景也涉及文本数据，其中任务和节点特征可以由文本描述。这些文本属性图（TAGs）在社交媒体、推荐系统等领域具有广泛的应用。因此，本文探讨了如何利用LLMs来建模TAGs。以往的TAG建模方法基于百万级别的LMs。当扩展到十亿级别的LLMs时，它们面临着巨大的计算成本挑战。此外，它们还忽略了LLMs的zero-shot推理能力。因此，我们提出了GraphAdapter，它使用图神经网络（GNN）作为有效的适配器与LLMs合作来处理TAGs。在效率方面，GNN适配器引入了少量可训练参数，并且可以以低计算成本进行训练。整个框架使用节点文本的自回归（下一个标记预测）进行训练。一旦训练完成，GraphAdapter可以轻松地通过任务特定提示进行微调，以适用于各种下游任务。通过对多个真实世界TAG的广泛实验，基于Llama 2的GraphAdapter在节点分类方面平均提高了约5%。此外，GraphAdapter还可以适应其他语言模型，包括RoBERTa、GPT-2等。这些有希望的结果表明，在TAG建模中，GNN可以作为LLMs的有效适配器。
14. Exploring the Potential of Large Language Models (LLMs)in Learning on Graphs [KDD '23]
图上学习已经引起了巨大的关注，因为它在现实世界中有广泛的应用。用于处理具有文本节点属性的图形学习的最流行的流程主要依赖于图神经网络（GNNs），并利用浅层文本嵌入作为初始节点表示，但这种方法在通用知识和深层语义理解方面存在局限性。近年来，已经证明大型语言模型（LLMs）具有广泛的通用知识和强大的语义理解能力，已经革命性地改变了现有的工作流程来处理文本数据。在本文中，我们旨在探索LLMs在图机器学习中的潜力，特别是节点分类任务，并调查两种可能的流程：LLMs作为增强器和LLMs作为预测器。前者利用LLMs来增强节点的文本属性，然后通过GNNs生成预测。后者试图直接将LLMs作为独立的预测器使用。我们在各种设置下对这两种流程进行了全面系统的研究。通过全面的实证结果，我们进行了原始观察，并发现了新的见解，为利用LLMs进行图形学习提供了新的可能性，并提出了有希望的方向。
15. Graph Neural Prompting with Large Language Models
大型语言模型（LLMs）在各种语言建模任务中表现出了非凡的泛化能力。然而，它们在准确捕获和返回基础知识方面仍然存在固有的局限性。尽管现有的工作已经探索了利用知识图（KGs）通过联合训练和定制模型架构来增强语言建模，但是由于LLMs的参数数量庞大和计算成本高，将这一方法应用于LLMs是有问题的。因此，如何利用基础知识来增强预训练的LLMs，例如检索增强生成，仍然是一个开放的问题。在这项工作中，我们提出了图神经提示（GNP），这是一种新颖的即插即用方法，可以帮助预训练的LLMs从知识图中学习有益的知识。GNP包括各种设计，包括标准的图神经网络编码器、跨模态汇集模块、领域投影器和自监督链接预测目标。对多个数据集进行的大量实验表明，GNP在不同尺寸和设置的LLMs上在常识和生物医学推理任务上均表现优越。
16. GraphGPT: Graph Instruction Tuning for Large Language Models [SIGIR '24]
图神经网络（GNNs）通过节点之间的递归交换和聚合来理解图结构已经发展成熟。为了增强鲁棒性，自监督学习（SSL）已经成为数据增强的重要工具。传统方法通常依赖于使用任务特定标签进行微调，这在标记数据稀缺时限制了它们的有效性。我们的研究通过在零样本学习环境中推进图模型泛化能力来解决这一问题。受大型语言模型（LLMs）成功的启发，我们旨在创建一个面向图的LLM，能够在各种数据集和任务中具有异常的泛化能力，而无需依赖下游图数据。我们引入了GraphGPT框架，通过图指令调整将LLMs与图结构知识相结合。该框架包括一个文本-图对齐组件，用于连接文本和图结构，并采用轻量级图-文本对齐投影器的双阶段指令调整方法。这些创新使LLMs能够理解复杂的图结构，并增强在各种数据集和任务中的适应性。我们的框架在监督和零样本图学习任务中展现了出色的泛化能力，超过了现有的基准。
17. InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
在当前的大型语言模型（LLMs）是否更好地解决图推理和生成任务并不清楚。在本文中，我们提出了InstructGraph，这是一个框架，通过指导调整和偏好对齐，赋予LLMs图推理和生成的能力。具体而言，我们首先提出了一种结构化格式的口头化器，将所有图数据统一成一种通用的类似代码的格式，可以简单地表示图而不需要任何外部的特定于图的编码器。此外，引入了一个图指导调整阶段，指导LLMs解决图推理和生成任务。最后，我们确定了图任务中潜在的幻觉问题，并对负实例进行采样以进行偏好对齐，其目标是增强模型输出的可靠性。跨多个图中心任务的大量实验表明，InstructGraph能够实现最佳性能，并分别超过GPT-4和LLaMA2超过13%和38%。
18. Knowledge Graph Prompting for Multi-Document Question Answering [AAAI '24]
大型语言模型（LLMs）在开放领域问答（OD-QA）中的“预训练、提示、预测”范式取得了显著成功。然而，在多文档问答（MD-QA）场景中，很少有工作探索这种范式，MD-QA任务需要对不同文档的内容和结构之间的逻辑关联进行彻底理解。为了填补这一重要差距，我们提出了一种知识图提示（KGP）方法，用于在MD-QA中为LLMs提供正确的上下文，其中包括图构建模块和图遍历模块。对于图构建，我们使用节点表示多个文档中的段落或文档结构（例如，页面/表格），使用边表示段落之间的语义/词汇相似性或文档内部结构关系。对于图遍历，我们设计了一个基于LLMs的图遍历代理，它在节点之间进行导航，并收集支持LLMs在MD-QA中的段落。构建的图充当全局规则，调节段落之间的过渡空间，并减少检索延迟。同时，图遍历代理充当本地导航器，收集相关上下文逐步接近问题，并保证检索质量。大量实验强调了KGP在MD-QA中的有效性，表明利用图形增强LLMs的提示设计的潜力。
19. OpenGraph: Towards Open Graph Foundation Models
图学习已经成为解释和利用各个领域中的关系数据的不可或缺的工具，范围从推荐系统到社交网络分析。在这种背景下，各种图神经网络（GNNs）作为一种有效编码图结构信息的方法已经出现。通过有效地捕获图的潜在结构，这些GNNs在增强图学习任务的性能方面显示出巨大潜力，例如链接预测和节点分类。然而，尽管它们取得了成功，但一个重要的挑战仍然存在：这些先进的方法通常面临着泛化到未见过的图数据的困难，这些数据与训练实例显著不同。在这项工作中，我们的目标是通过开发一个通用的图基础模型来推进图学习范式。这个模型旨在理解不同图数据中存在的复杂拓扑模式，使其能够在不同的下游数据集上在零样本图学习任务中表现出色。为了实现这一目标，在我们的OpenGraph模型中解决了几个关键技术挑战。首先，我们提出了一个统一的图标记器，以适应我们的图模型在未见的图数据上良好泛化，即使底层图属性与训练过程中遇到的图属性显著不同。其次，我们开发了一个可扩展的图变换器作为基础编码器，它有效地捕获了全局拓扑背景下的节点依赖关系。第三，我们引入了一个由LLM增强的数据增强机制，以减轻现实场景中数据稀缺的限制。大量实验证实了我们框架的有效性。通过使我们的OpenGraph适应新的图特征并理解各种图的细微差别，我们的方法在各种设置和领域中实现了显著的零样本图学习性能。
20. GraphPro: Graph Pre-training and Prompt Learning for Recommendation [WWW '24]
基于图神经网络（GNN）的推荐系统在建模复杂的用户-物品交互方面表现出色，通过多跳消息传递实现。然而，现有方法往往忽视了不断发展的用户-物品交互的动态性，这妨碍了对变化中的用户偏好和新到达数据中分布转移的适应。因此，它们在真实世界动态环境中的可扩展性和性能受到限制。在这项研究中，我们提出了GraphPro，一个结合了参数高效和动态图预训练与提示学习的框架。这种新颖的组合赋予了GNNs有效捕捉长期用户偏好和短期行为动态的能力，从而实现准确及时的推荐。我们的GraphPro框架通过将时间提示机制和图结构提示学习机制无缝集成到预训练的GNN模型中，解决了不断变化的用户偏好的挑战。时间提示机制编码了用户-物品交互的时间信息，使模型能够自然地捕捉时间上下文，而图结构提示学习机制则使预训练知识能够适应行为动态，无需进行持续的增量训练。我们进一步引入了一个动态评估设置，以模拟真实世界的动态情景，并将离线-在线之间的差距缩小到更好的水平。我们的大量实验证明，包括大规模的工业部署，在与各种最先进的推荐系统集成时，我们的GraphPro具有轻量级插件可扩展性，强调了GraphPro在效果、鲁棒性和效率方面的优势。
如需转载请联系我们，谢谢～
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
