Online graph nets论文理解

Online graph nets论文理解

这篇文章属于是我现在读的和我的研究方向关系最大的一篇了，似乎做得很不错，也跟很多学长予以启发。那么就记录一下吧。而且虽然不知道作者是谁我也懒得查是啥，但是我觉得一定接触过信息学竞赛！做得很符合信息学竞赛选手的思路和套路！这篇文章很好，所以我直接发了文字版而不是图片版！

〇、摘要

Temporal GNN序列化的更新点的表征，用基于时间的消息传递来在连续时间动态图上进行预测。在维护记忆的过程中，每次计算点的表示都需要通过以此消息传递，而这恰好是TGNN的瓶颈所在。因此本文提出了一个对邻居节点的表示进行加权求和的操作，这样就可以快速的求得点的表示了。大致这个做法能快384倍。

一、介绍

先讲了TGNN们利用了诸如注意力机制，time encoding，RNN，卷积层等来维护连续时间的表示。但是呢，这些模型越来越复杂，也因此将他们应用到大规模数据集就非常困难。

接着讲了静态的GNN有很多讨论能力和限制的，但是对于动态的几乎没有讨论为什么TGNN会成功的。

接着作者讲现代的TGNN总结为主要有三个核心步骤组成，1）时序上的sample 2）时序上邻居的聚合 3）循环的对点的状态的更新。作者并将前两步成为时序上消息传递。而限制TGNN的复杂度的主要是第一部分，因为每次要扫一遍过去的数据，复杂度很大。

因此呢，本文提出了OGN这个模型。将点表示为一个自己的表示和邻居集合的表示。其中后者是一个邻居的加权平均，而且本文提出了一个更新方式使得更新是O(1)的，因此可以online。甚至手机上都可以online更新。

二、背景

2.1 前置条件

这里把边定义成了$(u,v,\mathbf{e},t)$，起点，终点，边的信息和时间，很有参考意义。

2.2 TGNN

作者把TGNN的模型形式化为如下式，其中$\Phi$是一个时间编码

作者这里有一个特别形象，特别NB的图，直接让我看懂并让我知道了之前我对TGNN理解的问题。

就其实相当于SAMPLE的第一步找一阶，第二步找二阶；然后AGGREGATE先把二阶聚合到一阶，然后把1阶聚合到0阶。接着就是求这个动态图下的表示，以及点从历史到现在的表示，以及对点的表示进行更新。

三、OGN

首先作者说核心是维护两个东西$s_u^{(n)},r_u^{(n)}$，表示点u在第n次连边发生时的状态，如果第n时刻u没有参与，那就等于第n-1时刻的表示。$r_u^{(n)}$最朴素的更新方式如下，就是邻居节点的加权聚合，而这个权重和时间是相关的。

接着呢，作者改写了一下这个式子，变成了两个式子的除法，计算方式如下，接着$r_u^{(n)}=\frac{a_u^{(n)}}{b_u^{(n)}}$，其中m相当于上式的n-$m_i$。我感觉把这种式子用其他方式来进行线性的近似感觉往往是搞信息学竞赛选手做的哈哈。不过我还没想明白这个式子怎么推的，希望我能想明白。

最后作者用两个全连接来进行表示的更新。连GRU都没用属实是震撼。真的感觉这个模型非常的简单、优美，非常佩服于作者的数理基础和清晰的思路，希望在我的学术生涯里，有一天能和作者交流！！！