WWW 2024 | 简单却强大：揭秘Transformer在动态图建模中的魔法

©PaperWeekly 原创 · 作者 | 吴玉霞

单位 | 新加坡管理大学博士后

研究方向 | 图数据挖掘

论文题目：

On the Feasibility of Simple Transformer for Dynamic Graph Modeling

论文链接：

https://arxiv.org/pdf/2401.14009.pdf

代码链接：

https://github.com/YuxiaWu/SimpleDyG

论文录用：

The WebConference 2024 Main Conference

作者主页：

https://yuxiawu.github.io/

摘要

动态图建模在理解 Web 图中的复杂结构方面至关重要，涉及社交网络、推荐系统等多个应用领域。现有方法主要注重结构依赖性及其时序变化模式，但通常忽略详细的时间信息或难以处理长期依赖问题。此外许多方法过于依赖复杂的模块设计来捕捉动态图的演变。

本研究充分利用 Transformer 的自注意机制在序列建模中处理长距离依赖的强大能力，提出了一个专为动态图建模定制的简单而有效的 Transformer 模型，无需复杂的网络结构修改。

我们将动态图重构为序列建模任务，并引入创新的时间对齐技术，不仅捕捉了动态图中固有的时间演变模式，还简化了其演变过程的建模。所提方法灵活多样，适用于各种应用。通过在四个真实世界不同领域数据集上的实验证明了模型的有效性。

研究背景

2.1 现有工作的不足

现有的动态图建模工作主要分为两类：

• 离散时间方法: （见图 1a）将动态图视为离散时间上的快照（snapshot）序列，采用结构模块（如 GNN）捕捉拓扑信息，时序模块（如 RNN）学习序列演变。缺点：丢失细粒度时间信息；

• 连续时间方法: ࿰