论文解读-DeepMove: Predicting Human Mobility with Attentional Recurrent Networks

这是2018年发表的一篇论文，该论文提出了用于从长而稀疏的轨迹预测移动性的注意力递归网络。在DeepMove中，1）我们首先设计了一个多模态嵌入递归神经网络，通过联合嵌入控制人类移动的多个因素来捕获复杂的顺序转换。2）然后，我们提出了一个具有两种机制的历史注意模型，以一种原则的方式捕获多级周期性，该模型有效地利用周期性来增强用于移动性预测的递归神经网络。

Introduction

根据对百万级用户群的研究，93%的人类移动是可预测的。早期的迁移率预测方法大多基于模式的。首先从轨迹迹线中发现预定义的移动模式(例如，顺序模式、周期模式)，然后基于这些提取的模式预测未来位置。最近的发展转向基于模型的方法进行流动性预测。它们利用顺序统计模型(例如，马尔可夫链或递归神经网络)来捕捉人体运动的转变规律，并从给定的训练语料库中学习模型参数。

尽管基于模型的移动性预测很好，但仍有挑战有待解决:1）人类移动性的复杂转变规律。2）人类移动的多层次周期性。3）人类流动性的数据的异质性和稀疏性。

在本文中，作者提出了DeepMove，一种用于从冗长和稀疏的轨迹中预测人类移动性的注意力递归神经网络模型。本文做了如下的工作：
1）提出了一个注意力循环模型DeepMove，用于从长距离和稀疏轨迹预测人类的移动性。我们的模型以一种原则性的方式结合了两种规律性:异质过渡规律性和多级周期性。
2）我们设计了两种注意机制来配合循环模块。第一种是将历史记录直接嵌入到独立的潜在向量中；而第二种方法保留历史记录中的顺序信息。

PRELIMINARIES

1.问题形式化

2.递归神经网络

3.Obview

递归神经网络可以捕捉序列信息的长程相关性。但是，当序列过长，即超过20个单词的长句时，其性能会迅速下降。直接应用递归神经网络解决移动性预测问题直观但效率低。

总之，递归神经网络面临着周期性、数据稀疏和复杂转换的问题，这使得它无法实现对人体移动性的高预测精度。

在DeepMove中，我们首先使用多模态递归神经网络来捕捉复杂的转换关系。DeepMove的另一个关键组件是历史关注模块，旨在通过联合选择当前移动状态下最相关的历史轨迹来捕捉人类移动的多层次周期性。

模型

1.多模态递归预测框架

图3展示了Deepmove的架构。它包括三个主要部分:1)特征提取和嵌入；2)重复模块和历史注意；以及3)预测。

1.1特征提取和嵌入

轨迹被分成两部分:当前轨迹和历史轨迹。当前轨迹由递归层处理，以模拟复杂的序列信息。轨迹历史由历史关注模块处理。

1.2循环模块和历史关注

我们选择GRU作为基本递归单元，因为它的计算效率没有性能衰减。

1.3预测

它由一个连接层、几个完全连接的层和一个输出层组成。

2.历史注意力模块

如图3所示，它包括两个组件:1)注意力候选生成器，用于生成候选，这些候选正是移动性的规则；2)注意力选择器，用于将候选向量与查询向量匹配，即当前移动性状态。

2.1注意力选择器

注意力模块的目标是计算查询向量(即，当前移动状态)和候选向量（什么是，维度是什么）之间的相似性，以生成上下文向量。
注意力计算公式如下，
结构如下，

其中，s是历史特征，W是可学习参数，$h_t$是来自循环层的查询向量，$c_t$是最终的上下文向量。

2.2Attention Candidate Generator.

注意力候选向量有两种特定的生成机制。
1）嵌入编码模块
其实现结构如图4(b)所示，该模块的作用是直接将历史记录嵌入到独立的潜在向量中作为候选向量。

它由三部分组成:
（1）shaping layer：将有序轨迹序列分解成具有固定长度时间维度和可变长度空间维度的历史矩阵。（怎么搞的），其结构和参数是手动指定的。在这一层，我们将轨迹向量重组为一个二维矩阵。在时间维度上，我们将轨迹的所有时间排列成一周或两天，这是为了模拟人类移动的周期性。在空间维度中，我们收集在同一时间段出现的所有位置，以保持每个时间段的访问位置集。
（2）用于位置采样的采样层；它的作用是在每个时隙得到访问的位置中采样位置。设计了三种抽样策略:1)平均抽样；2)最大抽样；3)无抽样。平均采样策略在每个时隙将集合中的所有位置嵌入向量相加，并计算平均值作为它们的表示。最大采样策略基于人类移动性的周期性假设:最频繁访问的位置对用户来说意义重大。它通过选择最频繁的位置嵌入向量作为每个时隙的表示来工作。无采样策略是保留所有位置，并沿时间维度展平（flatten）它们。

（3）完全连接层。

2）顺序编码模块
其实现结构如图4©所示。它由一个递归神经网络组成。
顺序编码模块将历史记录作为输入，并将每一步的中间输出作为候选向量。与嵌入式编码模块相比，顺序编码模块依靠上述的注意选择器来捕获周期性信息。此外，顺序编码模块将历史记录投影到一个与当前移动状态相似的潜在空间中。这种相似的投射结果也有利于后续的注意选择。

模型训练

DeepMove以端到端的方式工作，不需要手工制作特征。从有限的离散位置列表中预测下一个位置可以看作是一个多分类问题。选择交叉熵损失作为我们的损失函数。
m是个啥。

结果

1.数据集

我们收集了三个有代表性的真实移动数据集来评估我们提出的模型的性能。第一个是公共的Foursquare签到数据，第二个是来自一个流行的社交网络供应商的移动应用程序位置数据，最后一个是来自一个主要蜂窝网络运营商的呼叫详细记录(CDR)数据。三种数据的轨迹记录生成机制完全不同，代表了现实中三种主要的位置生成机制。

数据集基本信息，

与稀疏的Foursquare签到数据不同，移动应用数据和通话详细记录数据都是密集的日常移动性数据。

2.实验设置

我们将提出的模型与几种最新的方法进行了比较:1）马尔可夫模型长期以来被广泛用于预测人类预测。他们将所有访问过的位置视为状态，并构建一个转移矩阵来捕捉它们之间的一阶转移概率。2）最近提出的PMM假设移动性位置遵循时空混合模型，并考虑到周期性来预测下一个位置。3）基于RNN的模型可以看作是我们的模型的简化版本，没有历史注意模块。

3.性能

与一般的RNN相比，该模型的优点在于能够从轨迹历史中捕捉到人体运动的周期性规律。

4.原因解读:历史注意力权重的可视化

5.模型变化

为了展示历史注意模块的效率，我们首先从预测精度和计算效率方面比较了两个提出的历史注意模块，然后讨论了嵌入编码注意模块中的不同采样策略如何影响最终结果。最后，我们讨论了用户嵌入的影响，并提出了我们的模型在描述个人偏好的有效性。

我们在两个数据集上比较了我们提出的两个历史注意模块的性能和效率。结果如表4所示。在大多数情况下，顺序编码注意模块比嵌入式编码注意模块工作得更好

此外，我们在嵌入式编码注意模块的采样层评估了不同采样策略的系统性能。图8(a)显示了两个数据集中三个不同样本的前1名预测准确度的评估结果。总体而言，平均抽样策略在三种策略中表现较好，而最大抽样策略表现稍差。
最后，我们用一个用户ID来识别每一个用户，并在模型中加入用户ID嵌入特性来捕捉个性。结果如图8(b)所示。在加入用户ID嵌入后，可以在一般RNN模型中观察到明显的性能增益。

6.用户群评价

相关工作

相近的工作可以分为两类:基于模型的方法和基于模式的方法。
基于模式的方法:基于模式的方法首先从轨迹中发现流行的顺序移动模式，然后尝试基于这些流行模式预测移动性。矩阵分解也可以看作是一种模式发现方法。

结论

我们提出了一个注意力移动模型DeepMove，与以前的方法相比，它具有两个新的特点:1)一个多模态嵌入式递归神经网络，用于捕获控制人类移动转换规律的多个因素；以及2)用于对人类移动性的多级周期性进行建模的历史注意力模块。在三个真实移动数据集上的大量实验表明，DeepMove明显优于所有基线。同时，历史注意力权重的可视化表明，DeepMove能够有效地捕捉有意义的周期性，用于移动性预测。