Graph Machine Learning in the Era of Large Language Models (LLMs)

本文是LLM系列文章，针对《Graph Machine Learning in the Era of Large Language Models (LLMs)》的翻译。

摘要

图在表示社交网络、知识图和分子发现等各个领域的复杂关系方面发挥着重要作用。随着深度学习的出现，图神经网络（GNN）已经成为图机器学习（Graph ML）的基石，促进了图结构的表示和处理。最近，LLM在语言任务中表现出了前所未有的能力，并被广泛应用于计算机视觉和推荐系统等各种应用中。这一显著的成功也引起了将LLM应用于图域的兴趣。人们越来越努力地探索LLM在提高Graph ML的泛化能力、可转移性和少镜头学习能力方面的潜力。同时，图，尤其是知识图，富含可靠的事实知识，可用于增强LLM的推理能力，并可能缓解其局限性，如幻觉和缺乏可解释性。鉴于这一研究方向的快速发展，有必要对LLM时代Graph ML的最新进展进行系统综述，以便为研究人员和从业者提供深入的理解。因此，在这项调查中，我们首先回顾了图ML的最新发展。然后，我们探讨了如何利用LLM来提高图特征的质量，减轻对标记数据的依赖，并解决图异构和非分布（OOD）泛化等挑战。之后，我们深入研究了图如何增强LLM，突出了它们增强LLM预训练和推理的能力。此外，我们还研究了各种应用，并讨论了这一有前景的领域的潜在未来方向。

1 引言

2 相关工作

3 图上的深度学习

4 LLMS用于图模型