文献阅读（27）DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks

本文是对《DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks》

——WSDM2020

Author: Aravind Sankar

总结

文章提出了DySAT算法，主要分为三个模块：结构自注意力层，时间自注意力层，图环境预测。算法在每个静态快照上学习结构嵌入，在多个静态快照上学习时间嵌入，并最终通过损失函数完成对图环境的预测。此外，文章在两个层上使用了多头注意力机制，以避免预测误差，最终的实验全部围绕link prediction这一任务展开，猜想是对应了对图环境的预测。

1 结构自注意力层

该层输入为一个静态快照对应的邻接矩阵，以及节点的one-hot向量。通过注意力机制的加权，将节点的直接邻居嵌入进行聚合。

2 时间自注意力层

该层输入为从上层学得的节点嵌入，并与关于时间的位置编码结合，最终形成了输入的节点嵌入，即：

其中h即为上层生成的z，p为关于时间的位置编码，因为该层是在多个静态快照上进行的聚合。

在进行时间层面的嵌入聚合时，应当注意算法通过M来控制时间范围。即给定一个当前时间j，只有比j时间早的嵌入能够被聚合，此时M为0，否则当时间比j晚，即还没有发生时，M为负无穷，从而该时间段的exp化无线趋近0.不对注意力权重产生影响。

3 多头注意力机制

多头注意力可简单理解为，设置多个权重矩阵，对上述的计算执行多次，并将结果以某种方式结合。算法在两个层上都执行了该机制，形式如下：

4 图环境预测（损失函数）

给出固定长度的随机游走，损失函数鼓励出现在同一游走中的节点具有相似的嵌入：