本文是LLM系列文章,针对《Graph Machine Learning in the Era of Large Language Models (LLMs)》的翻译。
摘要
图在表示社交网络、知识图和分子发现等各个领域的复杂关系方面发挥着重要作用。随着深度学习的出现,图神经网络(GNN)已经成为图机器学习(Graph ML)的基石,促进了图结构的表示和处理。最近,LLM在语言任务中表现出了前所未有的能力,并被广泛应用于计算机视觉和推荐系统等各种应用中。这一显著的成功也引起了将LLM应用于图域的兴趣。人们越来越努力地探索LLM在提高Graph ML的泛化能力、可转移性和少镜头学习能力方面的潜力。同时,图,尤其是知识图,富含可靠的事实知识,可用于增强LLM的推理能力,并可能缓解其局限性,如幻觉和缺乏可解释性。鉴于这一研究方向的快速发展,有必要对LLM时代Graph ML的最新进展进行系统综述,以便为研究人员和从业者提供深入的理解。因此,在这项调查中,我们首先回顾了图ML的最新发展。然后,我们探讨了如何利用LLM来提高图特征的质量,减轻对标记数据的依赖,并解决图异构和非分布(OOD)泛化等挑战。之后,我们深入研究了图如何增强LLM,突出了它们增强LLM预训练和推理的能力。此外,我们还研究了各种应用,并讨论了这一有前景的领域的潜在未来方向。