文献阅读（72）WWW2022-TREND: TempoRal Event and Node Dynamics for Graph Representation Learning

本文是对《TREND: TempoRal Event and Node Dynamics for Graph Representation Learning》一文的总结，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《TREND: TempoRal Event and Node Dynamics for Graph Representation Learning》

——WWW2022

Author: Zhihao Wen

总结

文章指出当前动态图上的算法要么关注于静态快照而非时序图的建模，要么没有采用归纳式的方法为新的节点生成嵌入，抑或忽略了对事件影响另一事件发展能力的建模。因此，提出了TREND算法，通过构建可学习的全连接映射函数来建模节点间的交互强度，其参数则通过FILM构建第二层网络来学习。此外，还区分了事件动态和节点动态，并对节点动态进行衡量作为损失函数的一项约束。其结构图如下：

1 问题定义与建模

给定时序图G=(V,E,T,X)，其中V为节点集，E为边集，T为交互时间集，X为节点特征矩阵。时序图建模的目的在于通过捕捉节点间的交互变化来为时序图中的每个节点生成对应的节点嵌入。

对时序图信息的建模往往使用霍克斯过程，即：

通过区分（1）不受外界影响的基础交互强度和（2）随时间衰减的外界事件影响强度来计算两节点间的交互强度。具体应用到时序图上可扩展为：

其中，第一部分为节点i和j不受外界影响下的基础交互强度，后两部分分别为一个节点的邻居对另一节点造成的影响。

文章进一步指出，通过霍克斯过程的建模本质上等价于对节点i和j的嵌入进行的映射，即有：

而其中的每个节点嵌入，都应当包含自身与历史交互邻居的信息，即：

2 建模事件动态

文章在此提出了事件动态(event dynamic)和节点动态(node dynamic)两个概念。其中，事件动态表达着不同事件发展的独立性，即便两个事件来源于同一节点，也很有可能体现出完全不同的特征。而节点动态又可理解为事件倾向(event tendency)，即不同的事件最终应当在同一个节点上归为一致，表达出同一的节点演变规律。两个动态的概念是相对的，可理解为单个事件呈现独立的粒子性，而多个事件归一到某个节点上后体现统一的波动性。

对事件动态的建模，即是对霍克斯条件强度的展开：

FCL为全连接层，θ_e为其参数，在此对全部节点是共享的。

进一步地，文章指出，如果任由FCL自行学习参数，则一定会倾向于活动较频繁的节点，而忽略了大量活动不频繁的长尾节点。因此将θ_e视为事件先验，对于任意节点，都能够得到一个相对公平的取值：

为学习事件先验θ_e，文章构建了第二层网络来进行参数学习。即第一层网络为FCL网络，用来计算霍克斯强度，第二层网络为FiLM网络，用来学习FCL的参数。FiLM主要包括两个操作，缩放(scaling)和位移(shifting)，定义其算子分别为α和β，则有：

从而针对在t时刻节点i与j的一次交互，其事件先验可计算为：

3 建模节点动态

上文提到了节点动态的概念，主要通过给定时间内发生在节点上的新事件数量来衡量。那么给定一个数据集，其真实的节点动态是可以通过计算确定得到的。此外，文章构建了对节点动态的预测，计算方式为：

通过约束预测节点动态和真实节点动态尽可能地逼近，就能够使得模型对节点动态的把握尽可能精准：

4 损失函数

上文节点动态的约束是损失函数的一部分，总的损失函数为：

其中，第一部分为主体损失函数，第二部分为节点动态的约束项，第三部分为FiLM的约束项。主题损失函数即经典的正负采样损失：