DySAT

摘要

学习图中的节点表示对于连接预测，节点分类和社区检测等许多应用都很重要。而现有的图表示方法大多针对静态图，在时序图中有挑战性。
本文提出动态自注意网络(DySAT),学习节点表示来捕获动态图结构演化。DySAT通过沿着结构邻域和动态时间两个维度的联合自注意来计算节点表示。在通信网络和二部分级网络上进行链路预测实验，证明了本文方法的优越性。

介绍

学习图中节点的潜在表示的目标是学习捕获节点及其邻域的结构属性的低维向量。现有的图表示学习工作主要针对静态图，但是，真实世界的图是动态的，他们通常表示为不同时间步的图快序列。
学习动态节点具有挑战性，要求节点不仅要保持结构的接近性，还要捕捉他们的时间演化。另外，多个潜在方面也在影响图的演化。
现有的动态图表示学习方法主要分为两种：增强相邻快照节点表示平滑性的时间正则化器和通过隐藏状态总结历史快照的递归神经网络。平滑方法在高稀疏度环境下有效，但在节点表现出明显不同的进化行为时可能失效。相反，rnn虽然具有表达能力，但需要大量的训练数据来超过静态方法，并且随着时间步数的增加，伸缩性变差。
当一个序列同时用作输入和上下文时，它被称为自注意。

动态图具有周期性模式，自注意可以从所有过去的图快照中提取上下文，自适应的为以前的时间步骤分配合适的权重。DySAT通过联合自注意沿结构邻域和时间动态两个维度生成动态节点表示。结构注意通过自注意聚合从每个快照的局部节点邻域中提取特征，而时间注意通过灵活加权历史表征来捕捉多个时间步的图演化。为了模拟图结构的多面变化，我们学习了结构注意层和时间注意层中的多个注意头，使不同潜在子空间上的联合注意成为可能。

动态自注意网络

DySAT有三个模块，从上到下，结构自注意，时间自注意，图形上下文预测。

结构自注意

该层的输入是一个图快照G，输入节点表示集{x_v ∈ R^D, ∀v ∈ V}，D为输入嵌入维数。初始层的输入为每个节点的one-hot编码。输出是一组新的节点表示{z_v ∈ R^F , ∀v ∈ V},具有F维，捕获快照G中的局部结构属性。
具体来说，关注节点v的近邻，通过计算关注权重值作为他们的输入节点嵌入函数。结构注意层的操作定义为：

N_v是快照G中节点v的近邻集合；W^s是应用于图中每个节点的共享权值变化；a
为权向量，参数化前馈层实现的注意函数；|| 为级联运算，σ(·)为非线性激活函数；A_uv为当前快照G中链路（u,v）的权重值。通过softmax在v中每个节点的邻居上得到学习系数集合a_uv，表示节点u在当前快照对节点v的贡献，使用LeakyRELU非线性来计算注意权值，然后对输出表示使用指数线性单元（ELU）激活，利用稀疏矩阵有效的实现对邻居的屏蔽自注意，因为a_uv对G中的所有非链接都是零，因此，在快照G上应用的结构注意层，通过相邻节点嵌入的自注意聚合，输出节点嵌入，它可以被看作是在相邻的邻居之间传递的单个消息。

时间自注意

输入是一个特定节点v在不同时间步长的表示序列。具体来说，输入是
X_v∈ R ^T×D’,输出是Z_v∈R ^T×F’,D’,F’分别是输入输出的维度，他们随时间排列在一起。
时间自注意层的关键目标是捕获图结构在多个时间步骤的时间变化，节点v在时间步t的输入表示为x^t_v，编码了当前v周围的局部结构，用x^t_v作为查询来查看它的历史表示（即时间t之前的），追踪v周围的局部邻域的演变。结构自注意依赖相邻节点表示，时间自注意依赖于节点的时间历史。将每个节点的局部邻域和时间历史解耦成独立的层，是提高模型效率的关键因素之一。
为了计算节点v在t的输出表示，使用注意力的缩放点积形式，查询，键和值首先通过线性投影矩阵分别被转换到不同的空间w_q∈R^D’×F’,w_k∈R^D’×F’,w_v∈R^D’×F’。
时间自注意函数定义为：

β_v：注意权矩阵，M：掩码矩阵，M_ij∈{−∞，0}用于增强自回归属性，定义为：

多方面的进化图

现实世界的动态图通常会沿着多个潜在层面演变，我们就通过多头注意从不同的潜在角度捕捉动态图的演变。多头注意是在不同的输入嵌入区域形成多个独立的注意函数，即注意头。在结构层和时间注意层都使用了注意头。
结构多头自注意
每个结构注意层计算多个注意头，然后连接来计算输出表示：

H_s是注意头的数量，h_v是多头注意后节点v的输出。虽然结构注意在每个快照中独立应用，但结构注意头的参数在不同快照中共享。
时间多头自注意
与上类似

DySAT架构

结构注意块
对不同距离的节点进行特征提取，使用共享参数在每个图快照上应用，输出为
{h¹_v, h²_v，…， h^T_v},作为输入送到时间注意块。
时间注意块
首先，使用位置嵌入{p¹, . . . , p^T }来捕获时间注意模块中的排序信息，其中包含每个快照的绝对时间位置。
然后位置嵌入和结构注意块的输出相结合，得到一个输入表示序列
{h¹_v +p¹, h²_v +p², . . . , h^T_v +p^T }，表示节点v跨多个时间步，最后一层输出传递到位置前馈层，以给出最后的节点表示{e¹_v, e²_v，…， e^T_v}。
图形上下文预测

σ为sigmoid型函数，<.>表示内积运算，N^t _walk (v)是在快照t的定长随机漫步中与v共出现的节点集，P^t_n是快照G^t的负采样分布(通常定义为度分布的函数)，w_n为负采样比，是一个可调超参数来平衡正样本和负样本。