TGN: TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS论文笔记

摘要

本文提出了时间图网络（TGNs），这是一种通用的，有效的框架，可用于对以时间事件序列表示的动态图进行深度学习。

贡献

1. 提出了时间图网络（TGN）的通用归纳框架，该框架在以事件序列表示的连续时间动态图上运行，并表明许多以前的方法都是TGN的特定实例。
2. 新颖的训练策略，允许模型从数据的顺序中学习，同时保持高效的并行处理。
3. 作者对框架的不同组成部分进行了详细的ablation study，并分析了速度和准确性之间的权衡。
4. 作者展示了在归纳和归纳设置下多个任务和数据集的最新性能，同时比以前的方法要快得多。

背景

静态图表示学习

静态图$G=⟨V,E⟩$包含节点 V = { 1 , . . . , n } V=\{1,...,n\} V={1,...,n}以及边$E\subseteq V\times V$，节点和边都包含特征表示为$v_i$和$e_{ij}$。

对于GNN来说为了得到embedding $z_i$可以使用以下方法来表达：
$$z_i=\sum _{j\in {\mathcal{N}}_i}h(m_{ij},v_i)$$$$m_{ij}=\text{msg}(v_i,v_j,e_{ij})$$可以解释为从$i$的邻居$j$传递的消息，$\mathcal{N}=j:(i,j)\in E$表示节点$i$的邻居节点，msg和h是可学习的函数。

动态图表示学习

动态图的模型分为两大类：

1. 离散时间动态图（DTDG）
2. 连续时间动态图（CTDG）

我们主要研究连续时间动态图（CTDG），我们定义一系列的时间戳事件 G = { x ( t 1 ) , x ( t 2 ) , . . . } G=\{x(t_1),x(t_2),...\} G={x(t1​),x(t2​),...}，每个事件$x(t_i)$可以表示为两种类型：

1. 节点事件：表示为$v_i(t)$，表示在$t$时刻，节点$i$发生了一个事件$v$（$v$为事件的向量）。
2. 边事件：表示为$e_{ij}(t)$ ，表示节点$i$与节点$j$之间发生的事件（边的删除将在后续讨论）。

模型

该模型主要学习$t$时刻下，图中节点的embedding信息，即$Z(t)=(z_1(t),...,z_{n(t)}(t))$。

核心模块

Memory

在时间$t$处，模型的Memory（状态）由模型迄今所见的每个节点的向量$s_i(t)$组成，代表一个节点的历史信息。1) memory将在一个事件发生后进行更新。2）如果出现一个新的节点，则其内存初始化为0向量。

Message Function

对于每一个包含节点$i$和$j$的事件$e_{ij}(t)$而言，则会对应两条消息：
$$m_i(t)={\text{msg}}_s(s_i(t^{-}),s_j(t^{-}),\Delta t,e_{ij}(t)),m_j(t)={\text{msg}}_d(s_j(t^{-}),s_i(t^{-}),\Delta t,e_{ij}(t))$$如果仅仅是包含节点$i$的事件而言，则会对应一条消息：
$$m_i(t)={\text{msg}}_n(s_i(t^{-}),t,v_i(t))$$其中$s_i(t^{-})$表示节点$i$在$t$之前的memory，${\text{msg}}_s$，${\text{msg}}_d$以及${\text{msg}}_n$都是可学习的参数。

贴别的，删除边事件定义为$(i,j,t^{\prime },t)$表示节点$i$和节点$j$在$t^{\prime }$产生边，在$t$删除边。
$$m_i(t)={\text{msg}}_{s^{\prime }}(s_i(t^{-}),s_j(t^{-}),\Delta t,e_{ij}(t)),m_j(t)={\text{msg}}_{d^{\prime }}(s_j(t^{-}),s_i(t^{-}),\Delta t,e_{ij}(t))$$

Message Aggregator

由于效率的原因，作者将多个事件聚合在一起。
$${\bar{m}}_i(t)=agg(m_i(t_1),...,m_i(t_b))$$ 其中$agg$为聚合函数。虽然可以使用可学习的方法进行学习（如RNN或是attention机制），但是作者选择不可学习的方法，例如most recent message（仅保留给定节点的最新消息）和mean message（给定节点的所有消息的平均值）。

Message Updater

主要根据节点的memory和event message进行自我更新
$$s_i(t)=mem({\bar{m}}_i(t),s_i(t^{-}))$$对于涉及两个节点$i$和$j$的交互事件，事件发生后将更新两个节点的memory。对于节点事件，仅更新相关节点的内存。在此，$mem$是可学习的内存更新功能例如GRU或是LSTM。

Embedding

Embedding模块用于在时间 $t$生成节点i的时间嵌入$z_i(t)$。 嵌入模块的主要目的是避免所谓的memory陈旧的问题(即只在事件发生时进行更新memory，那么长时间没有事件的节点memory则会变得不适用)。
通用的Embedding模块如下所示：
$$z_i(t)=emb(i,t)=\sum _{j\in n_i^k([0,t])}h(s_i(t),s_j(t),e_{ij},v_i(t),v_j(t))$$，其中$h$是可学习参数，包含了如下形式：

1. Identity(id)： $emb(i,t)=s_i(t)$，直接使用内存作为节点的embedding。
2. Time projection(time)：$emb(i,t)=(1+\Delta tw)\circ s_i(t)$，其中$w$为可学习参数，$\Delta$代表自从上一次交互所发生的时间，$\circ$代表元素相乘。
3. Temporal Graph Attention(attn)：一系列$L$图注意力层通过汇总来自其$L$跳时间邻域的信息来计算节点i的嵌入。
   
   输入到第$l$层的是$i$的表征$h_i^{(l-1)}(t)$，当前时间戳$t$，$i$的时间表征 { h 1 ( l − 1 ) ( t ) , . . . , h N l − 1 ( t ) } \{h_1^{(l-1)}(t),...,h_N^{l-1}(t)\} {h1(l−1)​(t),...,hNl−1​(t)}
4. Temporal Graph Sum(sum)，本文主要使用以下方式：
   
   其中，$\varphi (\cdot )$是时间的embedding信息，而$z_i(t)=emb(i,t)=h_i^{(L)}(t)$

训练

TGN可以针对各种任务训练TGN，例如边缘预测（自我监督）或节点分类（半监督）

出现的另一个问题则是，在并行化TGN训练时，保持交互之间的时间依赖性是重要的。

实验

模型表现

链路预测

节点分类

Ablation Study