迈向更好的动态图学习：新的模型框架和统一的模型库

©PaperWeekly 原创 · 作者 | 于乐

单位 | 北京航空航天大学

研究方向 | 动态图表示学习

论文题目：

Towards Better Dynamic Graph Learning: New Architecture and Unified Library

论文链接：

https://arxiv.org/abs/2303.13047

代码链接：

https://github.com/yule-BUAA/DyGLib

背景和动机

动态图由于在各类现实场景中的广泛存在，已引起了许多学者的关注。动态图可分为离散时间型和连续时间型两种。由于后者具有更强的灵活性，本工作研究面向连续时间型的动态图方法。动态图表示学习方法至今虽然已取得了较大的发展，但仍存在以下两个缺陷：

• 缺乏节点间的关系刻画以及难以建模长时依赖。现有方法独立地学习各节点的表示，而忽略了节点之间的相关性，而这些关联通常对于未来的交互具有提示作用。同时，现有方法遵循 interaction-level 的学习范式，因复杂的模型计算量以及在优化中的梯度问题等而导致无法处理较长的节点交互序列，故难以建模长时依赖关系。

• 缺乏统一的动态图模型库。大多数动态图表示学习方法重点关注于模型的设计，而模型训练、模型实现和模型评估等并不统一，这大大增加了研究人员的学习与使用成本。虽然已有一些动态图模型库，但它们的研究重点是面向动态网络的 embedding 方法、面向离散时间型动态图的学习方法或是如何在大规模动态图上进行训练的工程化技巧，并非本工作所研究的连续时间型动态图。

对于以上两个挑战，本工作提出了：1）一个基于 Transformer 的新型动态图学习框架，旨在同时刻画节点间的关系以及建模节点历史交互中存在的长期时序依赖；2）一个统一的动态图模型库，用以