论文笔记-IGNNK：归纳式图神经网络用于时空克里金插值问题

IGNNK

Inductive Graph Neural Networks for Spatiotemporal Kriging

归纳式神经网络用于时空克里金插值问题

摘要

在时空数据分析中，时间序列预测和时空克里金插值是两个最重要的课题。最近关于图神经网络的研究中，在时间序列预测上取得了大量的进步，但是却对克里金插值问题：恢复未采样位置/传感器的信号，关注甚少。大多数现有的可扩展的克里金插值方法是直推式(推导式)的，因此每当有一个新的传感器插入，就要重新训练模型。本文中，我们提出一种归纳式图神经网络克里金插值问题模型IGNNK恢复网络结构中未采样传感器的信号。归纳距离和可达性的影响，我们随机产生子图作为样本并且针对每个样本重构对应的邻接矩阵。通过在每个样本子图上重构所有的信号，IGNNK能够有效地学习到空间信息传递机制。事实证明，一些现实生活中的时空数据集能够证明IGNNK模型的有效性。此外，我们也发现训练过的模型，能够成功的迁移到其他同类型的克里金插值课题的未知数据集。结果表明：
1.GNN图神经网络是处理空间克里金插值问题的既有效果又有效率的工具
2.归纳式GNN图神经网络能够用动态邻接矩阵被训练
3.训练过的模型可以被迁移到新的图结构
4.IGNNK可以被用于生成虚拟传感器

一、介绍

随着信息和通信技术ICT的进步，可以从不同的应用上收集大规模时空数据集，例如流量感知和气候监测。分析这些数据集引起了相当大的关注。时间序列预测和时空克里金插值是在时空分析上的两项重要课题。随着最近在深度学习领域研究的发展，在时间序列预测上取得了较大的进步，却很少关注到时空克里金插值问题的应用。时空克里金插值的目标是基于同一时期采样位置信号在未采样位置进行信号插值。插值结果能够产生时空数据集的细粒度和高分辨率(fine-grained and high-resolution)，能够用于提高现实应用，例如行程时间估算和灾害估值。此外，一个较好的克里金插值模型能够利用较少的传感器达到较高的评估准确性和可靠性，从而减少人工操作和维持传感器网络的费用。

对于一般的时空克里金插值问题，发展良好的方法是高斯过程GP回归，GP回归使用一个灵活的内核结构描述时空关系。然而，GP回归有两个限制：1）模型计算昂贵，不能用于处理大规模数据集。2）很难用现有的图核结构建立网络结构模型。为解决网络系统中大规模克里金插值问题，图正则化(regularized)矩阵/张量(tensor)补全(completion)作为一个有效的解决方案出现。结合低秩结构和时空正则化，这些模型可以同时描述数据中的全局一致性和局部一致性(consistency)。然而，矩阵/张量补全是必要的推导(transductive)：对于新传感器或节点加入网络，不能直接应用以前训练过的模型，即使是很小的改变，我们也不得不在新的图结构上训练整个模型。此外，低秩方法对于适应时变/动态图结构是无效的。例如，随着时间的推移，一些传感器停止工作而未被替换，一些传感器也许被放置在新的位置。上述例子中，网络结构自身不能随时间推移保持一致，令使用全部信息受到了挑战。

最近的研究中，探索了图神经网络建立时空数据模型的潜能。图神经网络在描述通过信息传递机制构建的复杂空间依赖关系方面是强大的。也证明了GNN归纳(inductive)信息传递机制到未知节点或甚至全新(子)图的能力。受到以上研究成果的启发，我们提出IGNNK模型在动态网络结构上解决实时(real-time)时空克里金问题。不同于推荐系统中的图受到某些类型约束，我们的空间图实际上包含着有价值的位置信息，这让我们可以准确的量化两地距离。特别的，对于定向网络(directed network)，例如高速网络，距离矩阵是不对称的，并捕获从一个传感器到另一个传感器的可达程度。为更好的利用距离信息，IGNNK训练了一个GNN来重构随机子图的结构信息。首先，我们从所有可获得的传感器中挑选一个子集并创建相应的子图。我们隐藏一些节点作为丢失节点，训练GNN重构子图全部节点信号(包含观察到的和隐藏的节点)。这种训练方案，允许GNN有效的学习信息传递机制，能够更深入的归纳未见过的节点或图。接着，从相同或甚至全新网络结构上给出观察到的信号，训练过的模型就可以通过重构执行克里金插值。

我们在实际的时空数据集中，对比IGNNK和目前其他克里金插值方法。IGNNK对几乎所有的数据集都达到了最好的表现，表明模型能够有效的在传感器网络上动态归纳时空数据。为证明IGNNK的可迁移性，我们将利用在两个交通速度数据集上训练过的两个模型应用到一个新的数据集上，并且我们发现，这两模型提供了很好的表现，甚至是在未知的新数据集上。

二、相关成果

网络时空克里金问题可以被看做是特殊的矩阵补全问题：矩阵的一些行完全缺失。普遍的解决方法是将网络结构作为侧面信息。在一个时空设置中，网络克里金插值是相似的问题呈现。通过捕获变量间的依赖或者合并空间自动回归动力学，低秩张量模型被发展。不同于之前的方法，我们尝试利用GNN获得归纳(inductive)的能力。我们的方法和接下来的方向紧密相关：

对于时空数据集的图神经网