基于双重图卷积注意力网络的个体移动预测

本文推荐的是由清华大学、蒙纳士大学和北京大学2022年共同发表于WSDM会议的一篇文章，作者创新的提出了一种新的图卷积双注意力网络框架Graph Convolutional Dual-attentive Networks (GCDAN)，用以提升人类用户移动预测的准确性。

Predicting Human Mobility via Graph Convolutional Dual-attentive Networks

Weizhen Dang, Haibo Wang, Shirui Pan, Pei Zhang

1.背景和问题

当前已有的关于人类移动预测这个课题的解决方案，均无法很好的解决3个问题：轨迹数据的稀疏性、不准确性以及复杂的序列相关性。 从智能交通规划、调度到个性化推荐等基于位置的应用场景，个体的轨迹预测问题都非常重要，传统的基于模式挖掘的方法，如矩阵分解，隐马尔可夫链等，可以捕获典型的个体移动模式，但是难以捕获复杂的序列信息，近几年的研究中RNN强大的顺序建模能力被用来捕获轨迹中的复杂位置关系，相较于传统模型有了一定的提升，但是仍有两个艰巨的挑战没办法解决： 1） 数据的稀疏性和不准确性 位置信息由个体访问地点时被动记录，采样率低；定位手段比较粒度比较粗，数据往往不准确。 2） 高阶的顺序相关性 某些情况下，需要预测的位置依赖于远处的位置而不是临近的位置信息，且往往与个体的偏好和习惯相关。

2.解决方法

为了解决以上问题，作者提出了一种双注意力机制的图卷积网络，简称GC-DNA，该模型包含两个模块：（1）spatio-temporal embedding和（2）trajectory encoder-decoder，所谓时空嵌入就是将轨迹点嵌入到密集表示中（dense representations），即降维操作；轨迹的编解码模块采用seq2seq的结构，双注意力机制同时考虑了轨迹内序列的相关性和轨迹间的相关性。

该模型包括三部分，1）编码层，将时间编码向量与位置编码向量相融合，从相对访问时间差中提取信息；2） 双向变换器编码器，作为计算目标位置嵌入的映射函数，给定其特定的上下文邻居；3） 预训练目标，通过建模目标位置和上下文之间的共生概率以及目标的绝对访问时间，将位置的特征信息纳入其嵌入。

2.1.Spatio-temporal Embedding Module

作者提到个体的移动模式受位置和时间等多重因素的影响，因此做时空表征时期望能够保留个体移动状态的时空语义信息，为了达到这个目的，作者采用了对时间和空间分别做表征的方法。

Timestamp Embedding

将时间统一处理成固定的时间间隔，一天或者一周，可反映个体的周期移动性。然后进一步将时间戳离散化，先表征为one-hot向量然后再使用转换矩阵进行降维。一方面是降维后的特征向量可以准确表征时间语义信息，也大大降低了后续计算的难度。

Location Embedding

相比于时间信息，位置信息通常是不准确且非常稀疏的。为了解决这个问题，作者为引入了图卷积的结构捕获空间依赖性，同时减小位置信息不准确带来的影响。 首先根据历史轨迹数据生成一个有向加权图：

L 为历史轨迹中所有的位置集合，E为有向边，W为权重矩阵，其中每条边的权重和对应位置之间的转移次数相关。

是对所有位置进行表征后的结果 K为扩散步数， ，是两个待学习的过滤器， 为非线性的激活函数。 双向扩散图卷积增强了位置表示的灵活性，以捕获轨迹中位置的空间相关性。除了自身位置的信息之外，学习后的表征还包含临近位置信息，这可以在轨迹预测时减少前面提到的位置误差。

2.2.Trajectory Encoder-decoder Module

轨迹的编解码模块使用了基于双注意力机制seq2seq的网路结构。编码器使用轨迹内部的注意力模块提取历史轨迹的序列信息，生成时空上下文表征结果，解码器通过轨迹间的注意力模块对当前轨迹和历史轨迹之间的时空上下文特征进行建模，最终输出一个预测位置的向量。

Encoder

作者认为，由于轨迹位置空间依赖的高阶性，即预测位置不一定和临近位置相关，有时会和较远的位置相关性更大，因此轨迹间的注意力机制比RNN和LSTM对长序列轨迹的特征提取会更加有效。整个注意力层可以看作为以下两个公式，公式4为计算轨迹内两两位置之间的相似度，公式5为对相似度求和后得到的时空上下文表征。

注意力层加上全连接层构成编码器的基本单元，编码则由多个相同的基本单元构成。

Decoder

解码器层首先对当前轨迹进行每个点时空上下文特征的提取，操作和编码器中相似，为了在预测过程中利用上该个体所有历史轨迹的信息，设计了轨迹间的注意力层计算当前轨迹点的时空上下文表征和历史轨迹中所有点上下文表征的相似度，并在通过加权得到最终的聚合结果。 如公式6所示，x代表个体某条轨迹的表征结果，公式7为计算当前轨迹和历史轨迹相似度的方法，公式8为最终的特征向量输出，以捕捉当前轨迹和不同历史轨迹之间的相关性，并更加关注与当前轨迹更相关的历史轨迹。

与编码器一致，注意力层加全连接层构成基本单元，解码器最终由多个基本单元构成。 作者将轨迹预测最终转换为多分类问题，因此使用softmax()函数将解码器输出的特征向量转化为所有位置的概率分布，并通过训练得到最终的预测结果。

3.实验与结果

​ 为了评估由模型生成的上下文嵌入向量的质量，本文将这些向量合并到三个下游用户位置预测模型中，并将结果与其他位置嵌入方法进行比较

数据集

​ 前两个数据集是之前已开源的用户签到数据，第三个数据集是作者团队贡献的新的数据集，是某大学内通过无线网络记录的人员轨迹数据，每份数据集按照各自固定时间间隔进行轨迹分割后得到多条轨迹如表1所示。

评价标准

​ 本文中的评价指标采用topk 的命中率，具体分别使用Acc@1， Acc@5，Acc@10，计算方式如公式13。

实验结果

1. 传统的方法(MC和FPMC)在所有三个数据集上表现不佳。相比之下，深度模型( LSTM、ST-RNN和DeepMove）实现了更好的性能，因为它们受益于更强大的顺序建模能力。

2. GCDAN在三份数据集上都取得了更好的效果，特别在Foursquare上，与DeepMove（最佳基线）相比，GCDAN在Acc@1提高了30%以上，在Acc@5和Acc@10提升了20%。这是因为轨迹数据通常是稀疏和不准确的。这将不可避免地影响这些深度模型的顺序建模的准确性。同时，这些深度模型也不能很好地捕捉用户的偏好和习惯，这限制了它们的性能。GCDAN之所以表现的更好，作者认为有两点原因：第一，图形卷积减轻了轨迹数据的稀疏性和不精确性的影响。第二，双重注意机制使GCDAN具有更强的能力来模拟高阶序列性质。

3. 此外，我们观察到WiFi-Trace数据集上效果提升不如Foursquare和Gowalla。这是因为与用户签到数据相比，校园轨迹数据的顺序规则性和移动性模式相对更容易捕获。此外，WiFi-Trace的数据收集方法确定了轨迹数据更完整且噪声更小。这有助于学习所有深度模型。

4.结论和展望

​ 在本文中，作者提出了一种用于个体轨迹预测的新框架GCDAN。GCDAN使用扩散图卷积来捕获轨迹表征时的空间相关性，用来减小轨迹数据的稀疏性和不精确性带来的影响。 此外，本文采用双重注意机制来捕获轨迹内的长序列相关性以及不同轨迹之间的相关性，这可以处理轨迹数据的高阶性质。在三个真实世界数据集上的大量实验表明，GCDAN显著优于最先进的基线。

更多内容，敬请关注同名微信公众号：时空大数据兴趣小组。