一种基于multi-level attention机制的传感器时间序列预测模型（城市计算）

本篇博客参考了2018年IJCAI会议上的城市计算方向的一篇paper《GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction》，作者是原微软亚洲研究院研究员、现京东金融集团副总裁、首席数据科学家郑宇。其实城市计算这个概念我之前也只是听说过，即利用大数据和人工智能技术来解决城市里的各种交通、规划、环境、能源、商业和公共安全等问题。本文以水质量预测和空气质量预测为背景，通过神经网络的建模方法来预测未来一段时间内的水质量和空气质量。
首先需要解决问题的场景描述如下图所示：

上图是北京市地区的空气检测站的分布图，每一个检测站被称之为一个sensor，每一个sensor在一天之内都会间隔固定的时间（一般是5min）采集空气数据，其中包括：温度，湿度，PM2.5（这一项是我们最在意的，也是本文需要预测的指标），NO，NO2，以及各个方向的风力大小等19个维度的属性特征。这种场景的数据特点就是，每一个sensor地理位置是不会变化的，它们之间的相对位置也是不变的，但是由于是每隔一段时间就会采集一次数据，因此每一个sensor都会产生一系列的时序数据。假设我们sensor的数量是$N_g$个，每一个sensor采集的属性特征数为$N_l$。那么我们的任务就是，给一个时间间隔$T$范围内的所有sensor数据，来预测某一个$sensor_i$在接下来的$T+\tau$时间段内的某一维属性特征序列值。从问题描述我们可以知道，对于其中的一个sensor $X$，它在一段时间$T$内产生的数据可以用矩阵来表示，这个矩阵的维度是$N_l*T$。

从问题分类上看，这是一个时间序列的回归问题，损失函数也就是简单的均方损失函数。由于是序列生成序列，故本文采用的是经典的seq2seq架构（在NLP中常用于机器翻译和摘要生成等任务），因此一定会使用encoder-decoder架构，同时由于该任务的特殊性，本文在decoder生成阶段又巧妙的引入了其他的外部信息（比方说sensor对应的poi信息，天气信息以及sensor ID信息），显著地提升了模型的性能。整个模型如下所示：

可以看出在encoder和decoder该模型都使用了LSTM，在LSTM的输入部分可以看到一个被称之为“Spatial Attn”的结构，从右边放大的框图可以看出这个结构由“Local”和“Global”拼接而成即$[x_t^{local};x_t^{global}]$，这个“Local”指的是当前被预测的$sensor_i$的信息编码，“Global”指的则是其他sensor的信息编码，这两个编码过程中都是用了Attention机制。下面就来详细讲解：

Local Spatial Attention
$e_t^k=V_l^T tanh(W_l[h_{t-1};S_{t-1}]+U_lx^{i,k}+b_l)$ （1）
$\alpha_t^k=\frac{exp(e_t^k)}{\sum_{j=1}^{N_l}exp(e_t^j)}$ （2）
其中$v_l ,b_l \in R^T ，W_l \in R^{T*2m} ，U_l \in R^{T*T}$是模型需要训练的参数。
$x^{i,k}$指的是第i个sensor的第k维特征在T时间段内的收集的特征向量，由于是local 信息的编码，因此对$sensor_i$中所有的特征都进行同样的操作，得到t时刻的权重$\alpha$向量（时间信息在1式中的$[h_{t-1};s_{t-1}]$就体现出来了）。那么$x_t^{local}=(\alpha_t^{1}x_t^{i,1},\alpha_t^{2}x_t^{i,2}....\alpha_t^{N_l}x_t^{i,N_l})$，其中$x_t^{i,1}$代表了$sensor_i$在第t时刻的第1维属性的取值。这个local信息编码告诉我们，在同一个sensor内部的所有采集的属性特征信息之间是由关系的。

Global Spatial Attention
既然是使用attention技巧对Global信息进行编码，那么肯定要计算目标$sensor_i$和其他的$sensor_l$的相关度（特别是在需要预测的特征维度y上的）：
$g_t^l=v_g^Ttanh(W_g[h_{t-1};s_{t-1}]+U_gy^l+W^{\#}_gX^lu_g+b_g])$
其中$v_g,u_g,b_g \in R^T, W_g \in R^{T*2m}, U_g \in R^{T*T}, W_g^{\#} \in R^{T*N_l}$。需要注意的是，$y_l$是其他sensor在T时间点内的目标维度上的取值序列，需要注意的是这里attention的权值计算方法：
$\beta_t^l=\frac{exp((1-\lambda)g_t^l+\lambda P_{i,l})}{\sum_{j=1}^{N_g}exp((1-\lambda)g_t^l+\lambda P_{i,j})}$
其中$\lambda$是一个调节参数，$P_{i,l}$作为先验概率句子用来衡量$sensor_i$和$sensor_j$在空间地理位置上的相似性（如地理距离的倒数）。
那么最终 $x_t^{global}=(\beta_t^1y_t^1,\beta_t^2y_t^2....\beta_t^{N_g}y_t^{N_g})$，即其他sensor的待预测维度信息加权编码。论文中提到，如果在实际场景中$N_g$的数量太大的话，可以根据$P_{i,j}$距离相似矩阵挑选出和目标$sensor_i$距离相似的前k个sensor作为简化。(从常识上来讲。距离越近的sensor之间的相关性程度越高)

Temporal Attention
由于encoder-decoder架构的性能会随着encoder序列的长度大幅度下降，因此在decoder的过程中一般会使用attention来encoder序列中选择每一时刻应该强调的序列内容，那么decoder过程中的t时刻的attention权重计算如下：
$u_t^o=v_d^T tanh(W_d^{\#} [d_{t-1};s^\#_{t-1}]+W_dh_o+b_d)$
$\lambda_t^o=\frac{exp(u_t^o)}{\sum_{j=1}^T exp(u_t^j)}$
$c_t=\sum_{o=1}^T\lambda_t^oh_o$
其中$W_d \in R^{m*m} , W_d^\# \in R^{m*2n} , v_d,b_d \in R^{m}$是模型训练的参数。

Encoder-Decoder Architecture
那么在encoder阶段，使用$f_e$代表LSTM的处理单元，那么LSTM每一时刻t的输入$x_t=[x_t^{local};x_t^{global}]$，那么整个过程就有$h_t=f_e(h_{t-1},x_t)$
在decoder阶段，会使用另一个LSTM进行建模，其迭代公式如下：
$d_t=f_d(d_{t-1},[y_{t-1}^i;c_t;ex_t])$ （3）
其中$y_{t-1}^i$就是$sensor_i$在t-1时刻的输出值，即对t-1时刻的预测值，其计算公式如下：
$y_t^i=v_y^T(W_m [c_t;d_t]+b_m)+b_y$
其中$W_m \in R^{n*(n+m)}，b_m \in R_n，v_y \in R^n, b_y \in R$是模型的训练参数。
同时在（3）式中，有一个前面没有提及的变量$ex_t$，这个变量编码的是“external factor”信息，即使用embedding策略对sensor 网络的poi信息，时间信息，天气信息（如果对未来的天气信息没法获取，可以借助天气预报信息）进行特征映射。
最后的损失函数就是经典的均方损失,$||y_i-y_i^{true}||_2^2$，训练的方法采用Adam。