文献阅读（46）CIKM2020-Continuous-Time Dynamic Graph Learning via Neural Interaction Processes

本文是对《Continuous-Time Dynamic Graph Learning via Neural Interaction Processes》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Continuous-Time Dynamic Graph Learning via Neural Interaction Processes》

——CIKM2020

Author: Xiaofu Chang

总结

文章在时序网络上进行网络表征学习，提出了TDIG-MPNN算法。在考虑一次交互时，不仅考虑交互中的两个节点，还分别考虑它们各自的前一次交互情况，共同生成节点嵌入。得到嵌入后，通过LSTM来捕捉全局影响，并利用对子图学习环境嵌入来选择性地为节点邻居赋予不同的权重。最终，通过优化交互节点间的条件强度，从而优化节点嵌入。

1 时序点过程

对于具有时间信息的动态网络，算法一般分为两种方式进行处理，即静态快照和时序网络。静态快照是指按一定的时间间隔截取网络在某段时间中的变化情况，对每个切片得到的网络状态，事实上是没有时间变化的静态网络，而多个网络切片之间，就包含了连续的时间信息。时序网络即这种时序点过程的方法，与静态快照的宏观观察时间演变不同，时序网络具体到每一次节点交互。静态快照更倾向于学习宏观的网络演化过程，时序网络则倾向于学习微观的节点行为模式。文章给出了具体的解释，在此不再赘述。

2 交互边和依赖边

本文对于一次交互，不仅观察交互中的两个节点情况，同时也考虑了这两个节点各自的前一次交互情况。对于交互中的两个节点，文章定义为交互边，对于前一次交互的节点，文章定义为依赖边。

在这段定义中，节点u和v在t时刻构成了交互边，对于u的前一次交互时间，记为t^u-，那么u^1 (t^u-)和u^2 (t^u-)即节点u的前一次交互，其中u^1 (t^u-)指的就是节点u本身，只不过在两次交互中，u的性质也发生了改变，为区分两次交互中的u节点，才将前一次交互时的u定义为u^1 (t^u-)。

该定义中的interaction edge即为交互边，记为I，数据集中边上自带的特征信息作为该条边的特征，dependency edge即为依赖边，即为D，两次交互间的时间差值作为该边的特征。具体地，有：

注意到左图时间进行到t5，右图则进行到t6，虚线为交互边，实线为依赖边。右图中，当左侧用户与右侧用户发生一次新的交互之后，他们之间构成了一条交互边，而与前一时刻的用户自身，及前一时刻交互的邻居，分别构成一条依赖边。在实际子图的构建过程中，文章往往取三阶信息，即右图虚线框起来的三个时间点，k为阶数，是一个超参数。

3 方法

3.1 TDIG-MPNN

算法TDIG-MPNN分为两个部分，一是HGAN，二是RGNN。

HGAN部分主要将交互边和依赖边的信息结合在一起，用来捕捉局部信息。对节点u在t时刻的局部信息向量，有：

x_w和x_u分别代表交互节点w和u的特征，与f进行拼接，f即将交互边I和依赖边D上的特征进行组合映射。W_msg为参数矩阵，通过这种方式得到的F_msg即为捕捉了边上信息的向量。a则是注意力权重，u的邻居序列N(u)中的每个邻居w都通过用不同的参数矩阵加以sigmoid激活，得到其对应的权重。加权后的边上信息向量进行加和，就得到了节点u在t时刻的局部信息向量。

RGNN部分主要捕捉全局信息，通过引入LSTM，来结合节点u在不同时间段的信息，有：

该部分结构为扩展的LSTM模型，聚合的是多个时间段的节点局部信息向量，而聚合的次数或者说层数，与子图层数有关，即受上文提到的超参数k的限制。

3.2 选择机制

对于交互节点的邻居，文章设置了选择机制，在调用TDIG-MPNN层之前就为不同的邻居分配不同的权重，从而使得结合的局部信息更为有效。这一选择机制由两部分组成：共同注意力(coattention)和门控(gating)。

对共同注意力，给出一对交互的节点u和v，可以得到他们对应的邻居节点，或者说同子图环境节点的矩阵X_u和X_v，文章将两者利用参数矩阵进行结合：

得到的Q即为共同注意力下的亲和度矩阵，通过对这一矩阵执行最大池化操作，可以分别得到关于u和v的环境向量：

在得到各自的环境向量后，文章使用门控操作，对u和v的邻居分别计算权重并加权：

加权后的各自邻居节点向量，才会进入到上述层中进行计算。

4 模型优化

基于点过程的损失函数，目的在于最大化两个节点交互的条件强度，在此有：

优化目标即最大化在t时刻已知交互的两个节点的交互概率，最小化和其他节点的交互概率。