AI领域在近十年的进展神速,随着机器学习、深度学习的迭代,语音、图像、自然语言处理逐渐取得了很大的突破。集结了这些能力的智能设备越来越聪明,一些语音设备与人交流得越来越顺畅,自动驾驶、虚拟数字人等代表着最前沿的AI能力的应用也走向了落地。
在AI发展的过程中,基础的理论研究阶段,经常使用的是一些语音、图像、文本都很简单的序列或者网格数据,对于深度学习来说,这些简单的结构化数据很好处理。然而在AI应用的落地实践与产业应用中,非结构化的数据不少,从数据的角度来看,相比于图像和文本, 非结构的图类型数据分布更加广泛, 图结构也更加复杂。例如社交网络、知识图谱、复杂的文件系统等。
相比于简单的文本和图像,这种网络类型的非结构化数据处理非常复杂:图的大小是任意的,其拓扑结构复杂,没有像图像一样的空间局部性;图经常是动态变化的,包含着多模态的特征,没有可以参考的节点与顺序。
那么对于这类产业实际的问题,我们该如何建模?能否将深度学习进行扩展并建模该类非欧数据呢?这些问题促使了图神经网络的出现与发展。
十七年的万水千山
图神经网络 (GNN)的概念最早是Marco Gori等人在2005年提出的,发表在论文《The Graph Neural Network Model》。
在此之前,处理图数据的方法是在数据的预处理阶段将图转换为用一组向量表示。这种处理方法对于一些图丰富的数据来说弊端明显,会丢失很多结构信息,得到的结果严重依赖于对图的预处理。GNN的提出能够将数据处理的过程直接架构在图数据之上,不仅是拓展了已有的神经网络模型,也可以提高图数据处理的精度。
2009年Fran