【无标题】

Graph Neural Networks for temporal graphs: State of the art, open challenges, and opportunities论文笔记

定义：

静态图SG，
时间图TG（基于快照的时间间隔图STG，基于事件的时间图ETG），
转导学习：用于已知节点及其邻居的情况下，通过利用图的拓扑结构进行信息传播和预测。这种方法适用于节点分类任务，其中我们希望根据节点及其邻居的特征来预测节点的标签。
归纳学习：归纳学习表示在训练时没有可用的节点及其邻居信息。这通常用于图分类任务，其中我们的目标是对整个图进行分类，而不是对单个节点进行分类。

任务分类

• 监督学习

1.分类问题：时间节点分类任务：，边分类：，图分类：
2.回归问题：所有的分类问题都可以转换成回归问题来解决
3.链接预测问题：1、动态链接预测,2、事件时间预测问题（未有解决方法）

• 无监督学习

1.聚类问题：节点级，图级
2.低维向量嵌入问题：目前未有GNN模型应用于这些项目。节点嵌入，图嵌入

现有方法分类

• 基于快照的模型

（Snapshot-based models）配置了一个合适的方法来处理每个时间点的整个图，以及学习时间依赖性的机制。

1. .Model Evolution methods

将模型演化看作是静态GNN模型的参数随时间演化的过程。

唯一以这种方式解决问题的模型EvolveGCN。利用RNN在每个时间步长更新GCN的参数。更具体的说，GCN参数不被直接训练，而是从训练过的RNN中计算出来，从而产生一个易于管理的模型大小。本文提出了该方法的两个版本： EvolveGCN-O使用长短期记忆（LSTM）简单地随时间演化权值，而EvolveGCN-H将权值表示为门控重归单元（GRU）的隐藏状态，它的输入是前一个节点嵌入。
【论文笔记】EvolveGCN：使用RNN演化GCN参数捕获图序列的动态信息 - 知乎 (zhihu.com)
.

2. Embedding Evolution methods

侧重于进化由静态模型产生的嵌入

DySAT:使用一种自注意力机制在每个时间戳上生成静态节点嵌入，然后，它使用第二个自注意块来处理一个节点过去的时间嵌入，以生成其新的嵌入。
VGRNN:在每个快照上使用VGAE ，其中潜在表示以一个由半隐式变分推理（SIVI）建模的状态变量为条件，以处理图随时间的变化。然后，学习到的潜在表示通过一个基于先前时间的潜在表示的LSTM进行演化，允许模型预测图的未来演化。
ROLAND：ROLAND框架的工作机制是将节点嵌入视为层次化的节点状态，并通过GRU更新模块基于新观察到的节点和边来更新节点嵌入。ROLAND提供了两个版本的模型，分别使用MLP和移动平均方法来更新节点嵌入。它旨在扩展静态GNN方法以适应动态图数据，并提供了一种灵活的框架来处理大规模动态图
DynGESN：通过使用节点的时间邻域和先前的嵌入表示，采用循环机制来更新每个节点的嵌入表示。在该方法中，循环机制使用固定和随机初始化的循环权重。通过利用节点的时间邻域和先前的嵌入表示
SSGNN：采用了类似的思路，但在解码器中引入了可训练参数，并在编码器中结合了随机化组件。首先，编码器利用一个捕捉不同时间尺度动态性的储水池，创建了每个节点观察到的时间序列数据的表示。然后，这些表示进一步处理，以纳入由图结构决定的空间动态性。

• 基于事件的模型（Event-based models）

通过结合更新节点表示的技术来处理事件流。消息传递机制到时间图的扩展

1. Temporal Embedding Methods

使用循环或自注意力机制来建模事件流的序列信息，同时结合时间编码。
基于随机傅里叶特征（RFF）使用一个显式的函数时间编码

表示u和v建立连接的时间。
TGAT：引入了一种图的时间注意机制，该机制工作于节点的时间邻居的嵌入，其中位置编码被基于rff的时间编码所取代。此外，实现了一个版本的TGAT，所有时间注意权值设置为相等的值（Const-TGAT）
NAT：将每个节点的时间邻域收集到字典中，然后利用当前节点的历史邻域和基于RFF的时间嵌入，通过循环机制学习节点的表示。

2. .Temporal Neighborhood Methods

使用一个模块存储涉及特定节点的事件的函数，聚合这些值用于节点更新。当一个新边产生时，就会产生一条消息，然后，通过聚合所有生成的消息，每次都会更新节点表示形式。

APAN：引入了异步算法，将图查询和模型推断解耦。一个基于注意力机制的编码器将邮箱中的内容映射到每个节点的潜在表示，然后通过适应下游任务的多层感知器（MLP）进行解码。在每个事件后，节点更新完成后，包含当前节点嵌入的邮件会通过传播器发送到其邻居的邮箱中
DGNN:结合了一个交互模块和一个传播模块——它基于交互节点的当前嵌入及其过去交互的历史来生成每个事件的编码——以及一个传播模块——它将更新后的编码传递到交互节点的每个邻居。当前节点编码与其时间邻居的节点编码的聚合使用了一个修改后的LSTM，它允许处理非恒定的时间步长，并实现了一个折扣因子来降低远程交互的重要性。
TGN：表示学习通用框架，这个归纳式框架是由独立的和可互换的模块组成的。到目前为止，模型所看到的每个节点都有一个内存向量，它是其过去所有交互的压缩表示。给定一个新事件，邮箱模块为涉及的每个节点计算邮件。然后，邮件将用于更新内存向量。为了克服所谓的陈旧性问题，一个嵌入模块在每个时间戳上使用节点嵌入的邻域和内存状态来计算节点嵌入。
TGL：一种用于大型动态图的分布式训练通用框架。在TGL中，邮箱模块用于存储有限数量的最新交互——邮件。当发生新事件时，将使用邮箱中缓存的邮件更新相关节点的节点内存。然后在计算节点嵌入之后更新邮箱。

Open challenges

• Evaluation(评估问题)

OBG增强了GNN模型的评估，它提供了一系列的图数据集和标准化的评估协议，但目前还唯有有根据的评估TGNN的标准化基准。每个模型都在其自己选择的数据集上进行了测试，这使得在公平的基础上比较和对不同的TGNN进行排序具有挑战性。

• Expressiveness(解释性问题)

tgnn的表达能力还远未得到充分的探索，而适用于tgnn的新的WL测试的设计是实现这一目标的关键一步。这是一项具有挑战性的任务，因为由于节点和边的出现/消失，时间图中的节点邻域的定义并不像静态图那么简单。对于不同的TG表示的WL检验的完整理论，如基于事件的模型的普遍近似定理，仍然缺乏。此外，目前还没有努力整合高阶图结构来提高tgnn的表达能力。

• Learnability（学习问题）

在大型和复杂的图上训练GNN模型，经常会导致过平滑和过压缩问题。现代静态GNN模型面临着使用辍学、虚拟节点、邻居采样等技术的数据的复杂性所带来的问题，但一般的解决方案还远未达到。将上述技术扩展到tgnn，以及相应的理论研究，是开放的挑战。

• Real-world applications（现实应用问题）

结合机器学习和物理知识来学习动力系统。气候科学，流行病研究