「图Transformers」综述

「图Transformers」综述

专知 2024年07月17日 14:00 北京

图神经网络Transformers是一项机器学习的最新进展，提供了一类用于图结构数据的新型神经网络模型。Transformers与图学习的结合在各种图相关任务中表现出强大的性能和多功能性。本综述对图Transformers研究的最新进展和挑战进行了深入的回顾。我们首先介绍图和Transformers的基础概念，然后从设计视角探讨图Transformers，重点分析它们如何将图归纳偏差和图注意力机制整合到Transformers架构中。此外，我们提出了一种分类法，根据深度、可扩展性和预训练策略对图Transformers进行分类，总结了开发高效图Transformer模型的关键原则。除了技术分析，我们还讨论了图Transformer模型在节点级、边级和图级任务中的应用，探讨了其在其他应用场景中的潜力。最后，我们确定了该领域剩余的挑战，如可扩展性和效率、泛化和鲁棒性、可解释性和可解释性、动态和复杂图以及数据质量和多样性，为图Transformer研究指明了未来方向。

图作为具有高度表达能力的数据结构，广泛用于表示各个领域的复杂数据，例如社交媒体、知识图谱、生物学、化学和交通网络[1]。它们从数据中捕捉结构和语义信息，促进了推荐系统[2]、问答系统[3]、异常检测[4]、情感分析[5]、文本生成[6]和信息检索[7]等任务的发展。为了有效处理图结构数据，研究人员开发了各种图学习模型，例如图神经网络（GNN），这些模型可以学习节点、边和图的有意义表示[8]。特别是，遵循消息传递框架的GNN通过迭代地聚合邻居信息并更新节点表示，在各种基于图的任务中表现出色[9]。从信息提取到推荐系统等应用都受益于GNN对知识图谱的建模[10]。

最近，作为新兴且强大的图学习方法，图Transformer在学术界和工业界都引起了极大的关注[11],[12]。图Transformer的研究受到了Transformer在自然语言处理（NLP）[13]和计算机视觉（CV）[14]中成功应用的启发，并结合了GNN的价值。图Transformer结合了图归纳偏差（例如，对图属性的先验知识或假设）来有效处理图数据[15]。此外，它们可以适应动态和异构图&#