TGAT：INDUCTIVE REPRESENTATION LEARNING ON TEMPORAL GRAPHS 论文笔记

摘要

在时序图上进行推断式表示学习十分重要。作者提出节点embedding应该同时包括静态节点特征以及变化的拓扑特征。作者提出的TGAT模型以自注意力机制为基础并根据谐波分析的经典Bochner定理开发了一种新颖的功能时间编码技术。通过堆叠TGAT层可以推测未观测过的或者观察过的节点embedding。

简介

面临挑战

1. 为了模拟时间动态，节点嵌入不仅应该是拓扑结构和节点特征的投影，而且应该是连续时间的函数。 因此，除了通常的向量空间外，还应该在某些功能空间中进行时间表示学习。
2. 由于时间的出现，造成了对节点聚合以及信息传递的限制。

TGAT框架

Time Encoding函数

Time Encoding函数的目标是给定时间戳T，我们可以通过函数$\Phi$得到维度为$d_T$的低维向量。用符号表示为$\Phi :T\to {\mathbb{R}}^{d_T}$。

时序图注意力层（TGAT layer）

符号说明：

1. 节点$i$的原始节点特征表示为$x_i\in {\mathbb{R}}^{d_0}$。
2. 在$l$层中节点$i$在$t$时刻下的隐藏表示为${\tilde{h}}_i^{(l)}(t)$。
3. 节点$v_0$在$t$时刻的邻居节点为 N ( v 0 ; t ) = { v 1 , . . . , v N } \mathcal{N}(v_0;t)=\{v_1,...,v_N\} N(v0​;t)={v1​,...,vN​}。
4. TGAT的输入为邻居节点的信息 Z = { h ~ 1 ( l − 1 ) ( t ) , . . . , h ~ N ( l − 1 ) ( t ) } Z=\{\widetilde{h}^{(l-1)}_1(t),...,\widetilde{h}^{(l-1)}_N(t)\} Z={h 1(l−1)​(t),...,h N(l−1)​(t)}以及目标节点信息及其时间戳$({\tilde{h}}_0^{(l-1)}(t_1),t)$;输出为时间$t$时生成目标节点$v_0$的时间感知表示${\tilde{h}}_0^{(l)}(t)$

定义实体-时间特征矩阵:
$$Z(t)=[{\tilde{h}}_0^{(l-1)}(t)||{\Phi }_{d_T}(0),{\tilde{h}}_1^{(l-1)}(t_1)||{\Phi }_{d_T}(t-t_1),...,{\tilde{h}}_N^{(l-1)}(t_N)||{\Phi }_{d_T}(t-t_N){]}^T$$‘query’,‘key’,'value’定义如下：
$$q(t)=[Z(t){]}_0{W}_Q,K(t)=[Z(t){]}_{1:N}{W}_K,V(t)=[Z(t){]}_{1:N}{W}_V$$其中$W_Q,W_K,W_V\in {\mathbb{R}}^{(d+d_T)\times d_h}$是权重矩阵用于捕获时间信息和节点特征。

注意力权重定义为：
$${\alpha }_i=exp(q^T{K}_i)/(\sum _{q}exp(q^T{K}_q))$$代表节点$i$对节点$v_0$的影响权重。

通过注意力机制得到的隐藏邻居表示：
$$h(t)=Attn(q(t),K(t),V(t))\in {\mathbb{R}}^{d_h}$$为了将邻居表示与目标节点特征相结合，我们采用了GraphSAGE的相同做法：
$${\tilde{h}}_0^{(l)}(t)=FFN(h(t)||x_0)\equiv ReLU([h(t)||x_0]W_0^{(l)}+b_0^{(l)})W_1^{(l)}+b_1^{(l)}$$$$W_0^{(l)}\in {\mathbb{R}}^{(d_h+d_0)\times d_f},W_1^{(f)}\in {\mathbb{R}}^{d_f\times d},b_0^{(l)}\in {\mathbb{R}}^{d_f},b_1^{(l)}\in {\mathbb{R}}^d$$

其中${\tilde{h}}_0^{(l)}(t)\in {\mathbb{R}}^d$表示在$t$时刻的节点embedding。

此外，考虑$k$个不同的多头注意力机制，即$h^{(i)}\equiv Att{n}^{(i)}(q(t),K(t),V(t)),i=1,...,k$。
$${\tilde{h}}_0^{(l)}(t)=FFN(h^{(1)}(t)||...||h^{(k)}(t)||x_0)$$

如果边上有不同的特征

假设两个节点$v_i$以及$v_j$之间的边特征为$x_{i,j}(t)$，则$Z(t)$拓展为：
$$Z(t)=[...,{\tilde{h}}_i^{(l-1)}(t_i)||x_{0,i}(t_i)||{\Phi }_{d_T}(t-t_i),...]$$

实验

实验设置

作者选择使用链接预测设置进行训练。 然后，使用获得的捕获了时间信息的节点embedding作为输入，将节点分类视为下游任务。
Transductive task
通过链接预测和节点分类任务对于可见的节点进行训练。

Inductive task
对于不可见的节点进行训练，通过预测不可见节点之间的链接，并且通过推测的embedding信息将节点分类来捕获inductive学习的好坏。

Loss Function

$$l=\sum _{(v_i,v_j,t_{ij})\in \epsilon }-log(\sigma (-{\tilde{h}}_i^l(t_{ij}{)}^T{\tilde{h}}_j^l(t_{ij})))-Q.{\mathbb{E}}_{v_q\backsim p_n(v)}log(\sigma ({\tilde{h}}_i^l(t_{ij}{)}^T{\tilde{h}}_q^l(t_{ij})))$$其中$Q$是负采样的数量，而$P_n(v)$在节点空间上的负采样分布；$\sigma$是sigmoid函数，$\sum \ast$代表由节点$v_i$到$v_j$在时间$t_{ij}$的可见边。