Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks

研究问题

首次使用GNN去解决多元时间序列插补问题

背景动机

• 在真实场景下，时间序列数据通常是不完整的，通过插补方法来对缺失值进行填充是一项必要工作（和时间序列的预测问题相比，插补法不仅可以利用过去的事件信息，也可以利用未来的时间信息）
• 现有方法无法有效捕捉到传感器网络中存在的非线性时间和空间依赖性，也无法充分利用关系信息
• 两个传感器具有空间相似性不意味着物理上接近，而是说它们的数据变化比较相关
• 考虑到图神经网络可用于处理具有关系归纳偏差的序列数据，论文提出了一个称之为GRIN的GNN框架，通过消息传递学习时空表示来重建多元时间序列不同通道中的缺失数据

符号定义

• 假设在每个时间点$t$，我们都可以观测到一个有$N_t$个节点的图${\mathcal{G}}_t=⟨{\mathbf{X}}_t,{\mathbf{W}}_t⟩$，其节点属性矩阵为${\mathbf{X}}_t\in {\mathbb{R}}^{N_t\times d}$，其中节点$i$的属性向量为${\mathbf{x}}_t^i\in {\mathbb{R}}^d$，邻接矩阵为${\mathbf{W}}_t\in {\mathbb{R}}^{N_t\times N_t}$

• 上述定义的图具有拓扑不变性，即在任何时刻，都满足${\mathbf{W}}_t=\mathbf{W},N_t=N$

• 假设红色圈代表缺失值，则图序列如下所示。为了对缺失值建模，在每个时间点引入矩阵 M t ∈ { 0 , 1 } N t × d \boldsymbol{M}_{t} \in\{0,1\}^{N_{t} \times d} Mt​∈{0,1}Nt​×d，0值就表示缺失
  

• 时间序列插补可定义为最小化如下重构误差，其中${\hat{\mathbf{X}}}_{[t,t+T]}$是估计值，${\tilde{\mathbf{X}}}_{[t,t+T]}$是真实值，${\overline{\mathbf{M}}}_{[t,t+T]}$是对${\mathbf{M}}_{[t,t+T]}$的逻辑补（1表示缺失，0表示未缺失），$\ell ()$为误差计算函数，$<>$为点积操作，下面式子的实质其实就是求所有插补误差的平均
  $\mathcal{L}\left({\hat{\mathbf{X}}}_{[t,t+T]},{\tilde{\mathbf{X}}}_{[t,t+T]},{\overline{\mathbf{M}}}_{[t,t+T]}\right)={\sum }_{h=t}^{t+T}{\sum }_{i=1}^{N_t}\frac{⟨{\overline{\mathbf{m}}}_h^i,\ell \left({\hat{\mathbf{x}}}_h^i,{\tilde{\mathbf{x}}}_h^i\right)⟩}{⟨{\overline{\mathbf{m}}}_h^i,{\overline{\mathbf{m}}}_h^i⟩}$

• 插补可分为内插补和外插补

模型方法

• 总体框架
  论文提出的模型为Graph Recurrent Imputation Network (GRIN)，它是一个双向图递归神经网络，包含的两个单向GRIN子模块分别对每个方向执行两个阶段的插补，从而在时间上向前和向后渐进地处理输入序列。然后，前馈网络将前向和后向模型学习的表示作为输入，并对图的每个节点和序列的每个步骤执行最终的细化插补

• 单向GRIN子模块
  包含两个模块，一个是spatio-temporal encoder，一个是spatial decoder。前者用一个特别设计的RGNN实现，将输入特征${\mathbf{X}}_{[t,t+T]}$转化为时空表示${\mathbf{H}}_{[t,t+T]}\in {\mathbb{R}}^{N_t\times l}$；后者用MPNN（message-passing neural networks）实现，来执行两阶段插补，第一阶段执行一个线性映射，第二阶段则利用可获得的空间和关系信息

• spatio-temporal encoder
  首先定义MPNN层如下，其中${\mathbf{z}}_{t,k-1}^i$是节点特征向量，$\mathcal{N}(i)$是节点$i$邻居集合，${\gamma }_k,{\rho }_k$均为MLP层。

${\mathrm{MPNN}}_k\left({\mathbf{z}}_{t,k-1}^i,{\mathbf{W}}_t\right)={\gamma }_k\left({\mathbf{z}}_{t,k-1}^i,{\sum }_{j\in \mathcal{N}(i)}{\rho }_k\left({\mathbf{z}}_{t,k-1}^i,{\mathbf{z}}_{t,k-1}^j\right)\right)={\mathbf{z}}_{t,k}^i$，

• 将GRU公式与MPNN层相结合，其中${\mathbf{r}}_t^i$为重置门，${\mathbf{u}}_t^i$为更新门，${\mathbf{x}}_t^{i(2)}$为spatial decoder在上一个时间步的输出
  $\begin{array}{rl}{\mathbf{r}}_t^i& =\sigma \left(\mathrm{MPNN}\left(\left[{\hat{\mathbf{x}}}_t^{i(2)}\Vert {\mathbf{m}}_t^i\Vert {\mathbf{h}}_{t-1}^i\right],{\mathbf{W}}_t\right)\right)\\ {\mathbf{u}}_t^i& =\sigma \left(\mathrm{MPNN}\left(\left[{\hat{\mathbf{x}}}_t^{i(2)}\Vert {\mathbf{m}}_t^i\Vert {\mathbf{h}}_{t-1}^i\right],{\mathbf{W}}_t\right)\right)\\ {\mathbf{c}}_t^i& =\tanh \left(\mathrm{MPNN}\left(\left[{\hat{\mathbf{x}}}_t^{i(2)}\Vert {\mathbf{m}}_t^i\Vert {\mathbf{r}}_t^i\odot {\mathbf{h}}_{t-1}^i\right],{\mathbf{W}}_t\right)\right)\\ {\mathbf{h}}_t^i& ={\mathbf{u}}_t^i\odot {\mathbf{h}}_{t-1}^i+\left(1-{\mathbf{u}}_t^i\right)\odot {\mathbf{c}}_t^i\end{array}$

• spatial decoder
  第一阶段插补，直接生成线性表示

${\hat{\mathbf{Y}}}_t^{(1)}={\mathbf{H}}_{t-1}{\mathbf{V}}_h+{\mathbf{b}}_h$

定义filter操作，其实就是用预测出来的结果去取代缺失值$\Phi \left({\mathbf{Y}}_t\right)=M_t\odot {\mathbf{X}}_t+{\overline{\mathbf{M}}}_t\odot {\mathbf{Y}}_t$，可以得到第一阶段的插补结果为${\mathbf{X}}_t^{(1)}=\Phi \left({\mathbf{Y}}_t^{(1)}\right)$

执行一次MPNN，再执行一次线性运算得到第二阶段插补结果，注意这里邻居集合不包含自身，论文里面说这样可以迫使模型学习如何通过考虑空间依赖性来重构目标输入。

$s_t^i=\gamma \left({\mathbf{h}}_{t-i}^i,{\sum }_{j\in \mathcal{N}(i)/i}\rho \left(\left[\Phi \left({\hat{\mathbf{x}}}_t^{j(1)}\right)\Vert {\mathbf{h}}_{t-1}^j\Vert {\mathbf{m}}_t^j\right]\right)\right)$

${\hat{\mathbf{Y}}}_t^{(2)}=\left[{\mathbf{S}}_t\Vert {\mathbf{H}}_{t-1}\right]{\mathbf{V}}_s+{\mathbf{b}}_s;{\hat{\mathbf{X}}}_t^{(2)}=\Phi \left({\hat{\mathbf{Y}}}_t^{(2)}\right)$

最后使用${\hat{\mathbf{X}}}_t^{(2)}$来更新隐藏层的表示，并预测下一时间步结果

• 将两个子模块的结果结合
  这里没有直接考虑它们显式预测出来的值，而是将中间表示进行了映射

${\hat{\mathbf{y}}}_t^i=\mathrm{MLP}\left(\left[s_t^{i,fwd}\Vert {\mathbf{h}}_{t-1}^{i,fwd}\Vert s_t^{i,bwd}\Vert {\mathbf{h}}_{t+1}^{i,bwd}\right]\right)$

实验结果

• 指标对比
  

• 消融实验
  

• 结果可视化
  

评价

这篇论文其实模型方面不是太复杂，基本就是把时序预测方面的模型改成了双向，但由于是第一次在这个领域应用，还是得到了不低的分数。但还是有两个问题让人很疑惑，一个是一开始就说了W不一定是物理连接，还要考虑相关性，但之后压根没提W怎么算出来的；再有一个就是为什么中间表示都要和矩阵M拼接起来，没有什么有解释的含义。