论文笔记《HetETA: Heterogeneous Information Network Embedding for Estimating Time of Arrival》

Abstract

• 本文目标是预计到达时间(The estimated time of arrival, ETA)，现有研究存在问题：很少有研究将结构化的图数据考虑在内，更不用说异构的信息网络了。
• 本文提出 HetETA 模型 旨在ETA任务中利用异构的图数据，具体做法：
  （1）将路网地图转化为多相关信息网络，引入车辆轨迹图联合考虑车辆行为模式
  （2）时间信息分为近期(recent periods)、日周期(day periods)、周周期(week periods)，然后对每个时间模块分别建模。

1. Introduction & Related Work

（不是全文翻译，仅是关键信息的笔记）

现有研究存在的问题：

• 将路网看作同质图，忽略边的差异性
• 大多数研究使用的数据集如META-LA或PEMS，而实际的交通状况要复杂很多
• 有的模型适用于小网络，难以放到大网络中

本文：

• 是基于路线的ETA 方法（不是用sensor数据），大致思路是先预测每个路段的出行时间，然后根据已知的轨迹求和。
• 利用GNN 模型对路网数据建模，建模难点在于：
  （1）与单一相关关系的sensor数据相比，路网数据（图数据）连接关系更复杂。举例：可能如图2(a)有向左/右转和直行等等不同的状态；如图2(b)高速上转到不同路段也需要降速等。
  （2）路段的连接更稀疏。以沈阳路网为例，共有74685个点，每个点平均有2.52个邻居节点。
  

为解决上述问题，本文：

• 引入异质性信息网络(heterogeneous information network, HIN)，将路网地图转化为多相关信息网络（a multi-relational network，是HIN的一种，如图2a）
• 也部署了车辆轨迹图，节点和多相关信息网络图节点相同，边体现点之间的连通频率。
• 异质性也包括时间数据，将时间数据分成三类：recent periods、daily periods、weekly periods

2. Methodology

时间片分为三类，以这篇博文中的标注为例（如图）：

• 临近片段(recent) ${\mathbf{X}}_{\mathcal{R}}=\left[X^{\left(t_q-L_{\mathcal{R}}+1\right)},X^{\left(t_q-L_{\mathcal{R}}+2\right)},\dots ,X^{\left(t_q\right)}\right]\in {\mathbb{R}}^{L_{\mathcal{R}}\times |V|\times n}$
• 日周期片段(daily-period) ${\mathbf{X}}_{\mathcal{D}}=\left[X^{\left(t_q+1-L_{\mathcal{D}}\ast T_D\right)},X^{\left(t_q+1-\left(L_{\mathcal{D}}-1\right)\ast T_D\right)},\dots ,X^{\left(t_q+1-T_D\right)}\right]\in {\mathbb{R}}^{L_{\mathcal{D}}\times |V|\times n}$
• 周周期片段(weekly-period component) ${\mathbf{X}}_{\mathcal{W}}=\left[X^{\left(t_q+1-L_W\ast T_D\ast 7\right)},X^{\left(t_q+1-\left(L_W-1\right)\ast T_D\ast 7\right)},\dots ,X^{\left(t_q+1-T_D\ast 7\right)}\right]\in {\mathbb{R}}^{L_{\mathcal{W}}\times |V|\times n}$

将这三个时间片分别放到同样架构的模块中：

• 先放到 Temporal Gated CNN 中对时间相关性建模（见本文2.1）
• 再分别将 多相关信息网络 和 车辆轨迹图 放到 Het-ChebNet 中对空间相关性建模（见本文2.2）

2.1 Gated CNNs for Temporal Correlations

本节思路类似：Yu B, Yin H, Zhu Z. Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[J].IJCAI 2018. 是沿着时间维度做卷积，以此捕获时间相关性。

• 输入 $X$，宽 $C_{in}$（输入通道数），高 $L_{in}$（输入序列的长度），深度 $|V|$（节点数目）
• 两套相同结构的卷积核，每套是 $C_{out}$ 个维度为 $L_K\ast 1\ast C_{in}$。要注意核的深度是1，做的是1维卷积。
• 其中一个卷积后，再经过sigmoid函数，起到门控作用。再与另一套卷积后的结果相乘。
• 最后得到隐藏状态 $\mathrm{H}=\left({\mathrm{K}}_1\star \mathrm{x}\right)\odot \sigma \left({\mathrm{K}}_2\star \mathrm{x}\right)\in {\mathbb{R}}^{\left(L_{\mathrm{i}\mathrm{n}}-L_K+1\right)\times |V|\times C_{\text{out }}}$

从整体再看下模型

• 最开始的输入 $\mathbf{x}=\mathbf{X}\in {\mathbb{R}}^{L\times |V|\times n}$
• 经过第1个 gated CNN 层，卷积核维度 $\left[L_K\times 1\times C_{\mathrm{i}\mathrm{n}},C_{\mathrm{o}\mathrm{u}\mathrm{t}}\right]$，得到 $\mathbf{H}={\mathbf{H}}_1\in {\mathbb{R}}^{\left(L_{\mathrm{i}\mathrm{n}}-L_K+1\right)\times |V|\times C_{\text{out }}}$
• 接着 ${\mathbf{H}}_1$ 被放入 Het-ChebNets 中，得到 ${\mathbf{H}}_2\in {\mathbb{R}}^{\left(L-L_K+1\right)\times |V|\times 2\ast C_1}$（为什么是这个维度，2.2节会解释）
• 再将 ${\mathbf{H}}_2$ 放入第2个 gated CNN 层，得到 $\mathbf{H}={\mathbf{H}}_3\in {\mathbb{R}}^{\left(L-2\ast \left(L_K-1\right)\right)\times |V|\times C_3}$
• 最后再将 ${\mathbf{H}}_3$ 放入第3个 gated CNN 层，该层的核维度是 $[(L-2\ast \left(L_K-1\right))\times 1\times C_3,C_3]$，得到输出是 $\mathbf{H}={\mathbf{H}}_4\in {\mathbb{R}}^{1\times |V|\times C_3}$

2.2 Het-ChebNet for Spatial Correlations

将交通流视为路网上的空间信息传播过程，用 Het-ChebNet 对空间相关性建模。

2.2.1 Het-ChebNet 计算原理

• 首先，传统通过切比雪夫多项式进行局部滤波（详情见这篇文章8.2节），公式：$g_{\theta }{\star }_G\mathbf{x}=g_{\theta }(\mathbf{L})\mathbf{x}={\sum }_{z=0}^Z{\theta }_z{\Gamma }_z(\tilde{\mathbf{L}})\mathbf{x}$。但该方法对于多相关性网络建模不足，因此再此基础上引入注意力机制。

• 引入注意力机制的ChebNet $g_{\theta }{\star }_G\mathbf{x}=g_{\theta }(\mathbf{L})\mathbf{x}={\sum }_{z=0}^Z{\theta }_z\left({\Gamma }_z(\tilde{\mathbf{L}})\odot f\left({\mathbf{U}}_z\right)\right)\mathbf{x}$

下面一一说明具体是怎么算的：

• ${\theta }_z$ 是可训练的一个参数
• ${\Gamma }_z(\tilde{\mathbf{L}})$ 指 $z$ 阶切比雪夫多项式，可以通过递推公式计算得到。
• $f\left({\mathbf{U}}_z\right)$ 是本文的创新点，${\mathbf{U}}_z$ 是注意力稀疏矩阵，是根据多相关关系图每条边得分编码得到的，具体计算如下：
  （1）经过上一步的gated CNN，可以得到点 $v_1,v_2$ 的低维向量表示 $h_1,h_2$，先把它们连在一起
  （2）$w_{r_k}\in {\mathbb{R}}^{2d}$ 是根据不同关系类型 $r_k$ 训练得到的参数
  （3）$\sigma$ 是 LeakyReLU 函数
  （4）计算出的得分 ${\alpha }_{ijk}=\sigma \left(w_{r_k}^{\mathrm{T}}\left[h_i\Vert h_j\right]\right)$
  （5）因为节点间关系不止一种，所以${\mathbf{U}}_z$ 是把这些值求和的结果，$u_{ji}={\sum }_{k,\left(v_i,v_j,r_k\right)\in E}{\alpha }_{ijk}$
  （6）最后就是softmax操作，$f\left(u_{ji}\right)=\exp \left(u_{ji}\right)/{\sum }_{k,\left(v_k,v_j\right)\in E}\exp \left(u_{jk}\right)$

2.2.2 Het-ChebNet 实际操作

作者将多相关性图网络 $G^{(t)}$ 分成了两个网络，分别是：

• 路网 $G_{road}^{(t)}$ ，根据路段转向关系做的矩阵
• 基于车辆轨迹的网络 $G_{vehicle}^{(t)}$ ，根据“likely going to” 关系做的矩阵（我没看懂这部分 = =）

然后将这两个网络图，分别放到两个Het-ChebNets，分别对空间相关性建模。

将两个网络图的输出拼到一起，${\mathbf{H}}_2=\left[{\mathbf{H}}_{\text{road }}\Vert {\mathbf{H}}_{\text{vehicle }}\right]\in {\mathbb{R}}^{\left(L-L_K+1\right)\times |V|\times 2\ast C_1}$，作为第2层 gated cnn 的输入。

2.3 Fusion Layer for Prediction

时间片被分成了三类，但是操作都是相同的，得到的维度也是相同的，最后经过一次融合，$\mathrm{S}$ 表示每个路段的长度，120表示限速 120km/h：$$\hat{Y}=\frac{\mathrm{S}}{\sigma \left(\left[{\mathrm{H}}_{{\mathcal{R}}_4}\Vert {\mathrm{H}}_{{\mathcal{D}}_4}\Vert {\mathrm{H}}_{W_4}\right]\mathrm{W}+b\right)\ast 120}$$

3. Experiments

3.1 Datasets

• 沈阳出租车滴滴数据， multi-relational graph 中有74685个节点，94127条边，时间跨度是2019.5.1-2019.7.31
• 数据可以分为两类：（1）pickup 数据，指司机收到订单请求到接到乘客的车辆轨迹；（2）trip 数据，乘客上车到到达目的地的车辆轨迹。
• 关系类型(relation type) 指的是路段之间的转弯方向，包括直行、轻微左、左、剧烈左、轻微右、右、剧烈右和转弯。
• 节点特征(node feature) 分成两类：（1）静态特征：道路类型、路段宽度、路段长度、限速、车道数等；（2）动态特征是每5min统计一次的每个车道的车辆平均速度

拿到数据时，作者设计一个基于网络的车辆轨迹图(vehicle-trajectories)，用以捕捉路段潜在相关性（指那些路网图没有表示出的相关性）。这个基于网络的车辆轨迹图是个有向、有权重的图。

• 节点表示路段
• 边表示过去有车从节点 $i$ 去了节点 $j$，这里会有个 β-hop 和频率的限制，就是需要在 β-1 数量的路段内抵达目的地。边权重表示共现的频率，对于每个点 只会保留了前 k 频繁的邻接边的信息。本文 β=3，k=5

3.2 Results

略