文献阅读（22）IJCAI2019-Spatio-Temporal Attentive RNN for Node Classification in Temporal Attributed Graph

本文是对《Spatio-Temporal Attentive RNN for Node Classification in Temporal Attributed Graphs》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Spatio-Temporal Attentive RNN for Node Classification in Temporal Attributed Graphs》

——IJCAI2019

Author: Dongkuan Xu

总结

文章认为在时序属性图上的节点分类会面临两个挑战：（1）难以对时空环境信息建模；（2）在学习节点表征时，会遇到时空属性纠缠，难以确定哪个更重要。因而，文章提出了STAR算法，对GRU加以改进，并加入了时空两重注意力机制，建立多个静态快照，学习节点的最终嵌入。

算法的输入为G=(V,A^t,Xt)，V是节点集，在整个过程中是不变的，后两者分别是在第t个静态快照时的邻接矩阵和属性矩阵，静态快照不同，这两者也会产生变化。

STAR的整体结构图如下：

1 GRU基本模型

首先，文章介绍了基础的GRU框架，给出一系列输入数据x_1,…,x_T，可以计算t时刻的状态向量h_t：

W和b均为参数，z_t和r_t分别为更新门（决定历史信息的遗忘程度）和重置门（决定历史信息与当前信息以怎样的方式结合）。先计算出两个门的取值，再通过重置门将历史信息和当前输入信息做结合，产生当前状态信息，再通过更新门在历史信息和当前信息中做选择决定各自保留程度，最终就生成了当前状态的嵌入。

2 聚合邻居嵌入

文章在聚合邻居信息时提出了一种采样方法，当给出需要进行分类的节点集后，可以反推出他们的邻居集合，再通过这些邻居集合反推出更外一层的邻居，如此重复K次，就得到了目标节点的K层邻居集合，算法如下：

得到K层邻居集合后，再从最外层开始计算，每一层的反推得到的邻居嵌入都聚合回到自身，这样通过层层反推，就得到了聚合了K层邻居信息的目标节点嵌，算法如下（其中的ACG函数会在下文介绍空间注意力时解释）：

3 时空GRU

上文介绍了基础的GRU模型，文章在此基础上做了改动，新增了一个邻居门，该门可以控制节点聚合的邻居嵌入以怎样的程度保留和结合，具体公式如下：

该公式是在上文GRU基础上的推演，如h’_t与h_t指代的其实是统一状态向量，只是便于区分。与GRU不同的即是在计算当前信息时，多加入了对邻居聚合嵌入的结合。

4 时空两重注意力机制

文章引入了两重注意力机制，分别为空间和时间。

对于空间注意力，其计算是在聚合邻居嵌入的过程中，即输入GRU之前，即算法2中的ACG函数，有：

在该式中，前两者都是参数，后者即是上文出现的外层邻居嵌入，而对B_u^k的计算如下：

对于时间注意力，则要在GRU输出之后进行计算，文章认为不同时间段，节点的影响强度也有所不同，因此该注意力是围绕单个节点的多个静态快照时间。得到节点在不同静态快照时间的状态嵌入后，针对单个时间的时间注意力权重如下：

而算法最终要将多个静态快照的状态嵌入进行结合，则每个静态快照嵌入的占比即是采用时间注意力权重，则有：

对于单个节点的最终嵌入为q，则对整个节点集而言，其最终嵌入即（字母的大小变化也象征着单个节点和节点集的区别）：

在此，值得注意的是W~这一参数矩阵，文章引入了多头注意力机制，即变换不同的参数值，多次计算注意力权重，这样的好处是可以允许模型在不同的表示子空间里学习到相关的信息。

5 损失函数

得到节点的最终嵌入Q以及节点类别标签y，就可以得到STAR模型的损失函数如下：

其中，第一部分为交叉熵损失，N为节点数量，公式如下：

y为标签的真实值，y~为预估的节点类别标签，通过softmax函数作为全连接层，以节点嵌入作为输出，即：

后两部分皆为罚项，P_att用来促使多头注意力每次计算结果尽可能彼此分离，P_nn用来防止过拟合。

6 复杂度分析