图表示学习综述阅读笔记

阅读论文综述[1]： A Survey on Graph Representation Learning Methods

图表示学习的目标是生成能够准确捕获大型图的结构和特征的图表示向量。图表示学习（图嵌入方法）研究图的表示向量的自动生成问题。这些方法将图表示学习作为机器学习任务，并利用图的结构和属性作为输入数据生成嵌入向量。

图嵌入技术包括节点嵌入技术（基础）、边嵌入技术和子图嵌入技术。

图嵌入的应用包括：节点分类、链接预测、异常检测、图聚类、可视化等。

图表示向量技术分为两大类：传统的图嵌入方法，基于图神经网络的方法。这些方法可应用于静态图或动态图。

静态图：单一的固定图

动态图：随着时间的推移而发展，它的节点和边可以从图中添加或删除。

• 传统静态图嵌入

传统的静态图嵌入方法可以分为三类:基于分解的、基于随机游走的和非gnn的深度学习方法。

• 传统动态图嵌入

大多数现实世界的图都是动态的和不断发展的，其中添加和删除了节点和边。在动态图嵌入研究中，动态图有两种表示方式:离散时间和连续时间。由于图演化建模的挑战，动态图相比静态图的嵌入更具挑战性。

这篇综述将传统动态图嵌入分类为四类：基于聚合的、基于随机游走的、基于非gnn的深度学习和基于时态点过程的。

• Static Graph Neural Nets静态图神经网络

图神经网络是最近提出的另一类图嵌入方法。在gnn中，节点嵌入是通过聚合节点邻居的嵌入来获得的（GNN的直觉是，一个节点的状态受到它与图中邻居的相互作用的影响）。与传统方法的不同之处在于，基于gnn的方法可以很好地泛化到看不见的节点。此外，它们可以更好地利用节点/边缘属性。

基于静态GNN的图嵌入方法适用于不随时间变化的静态图的图表示学习。这些方法可以分为两类:递归gnn和卷积gnn。

• Spatial-Temporal Graph Neural Net (STGNN）时空图神经网络

时空GNN是捕获图的空间和时间属性的GNN的一类。他们考虑连接节点之间的依赖关系，对图的动态建模。stgnn在交通流预测、流行病预测、睡眠阶段分类等方面有着广泛的应用。大多数STGNN方法分为基于CNN和基于RNN两类。

图快照RNN/CNN堆叠，捕获图之间随时间的时间关系。

• Dynamic Graph Neural Net (DGNN)动态图神经网络

动态图神经网络(DGNN)是一种图神经网络，它对图的各种动态行为进行建模，包括随着时间的推移添加或删除节点和边。

整合节点历史信息，要考虑图的更新。

        最后论文讨论了图神经网络的九个局限性，并提出了解决这些局限性的方法。这些限制包括表现力、过度平滑、可伸缩性、过度压缩、捕获长期依赖、设计空间、忽略子结构、同质性假设和灾难性遗忘。其中Graph Random Neural Network (GRAND)[2]提出解决过度平滑问题的方法；[3]提出了一种拓扑感知的权重保持模块(TWP)来缓解gnn中的灾难性遗忘问题。

参考文献

[1] Khoshraftar S, An A. A survey on graph representation learning methods[J]. ACM Transactions on Intelligent Systems and Technology, 2024, 15(1): 1-55.

[2] Wenzheng Feng, Jie Zhang, Yuxiao Dong, Yu Han, Huanbo Luan, Qian Xu, Qiang Yang, Evgeny Kharlamov, and Jie Tang. 2020. Graph random neural networks for semi-supervised learning on graphs. Advances in neural information processing systems 33 (2020), 22092–22103.

[3] Huihui Liu, Yiding Yang, and Xinchao Wang. 2021. Overcoming Catastrophic Forgetting in Graph Neural Networks. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35. 8653–8661