论文阅读——Where to Go Next- A Spatio-Temporal Gated Network for Next POI Recommendation

Where to Go Next: A Spatio-Temporal Gated Network for Next POI Recommendation

下一步该何去何从：用于下一个 POI 推荐的时空门控网络

Abstract

下一个兴趣点 (POI) 推荐对用户和 POI 持有者都有很大价值，但这是一项具有挑战性的任务，因为极其稀疏的用户签到数据中包含复杂的顺序模式和丰富的上下文。最近提出的嵌入技术在通过对上下文信息进行建模来缓解数据稀疏问题方面显示出了有希望的结果，并且循环神经网络（RNN）已被证明在顺序预测中是有效的。然而，现有的下一个 POI 推荐方法分别训练嵌入和网络模型，无法充分利用丰富的上下文。在本文中，我们提出了一种新颖的统一神经网络框架，名为 NeuNext，它利用 POI 上下文预测来通过联合学习（joint learning）来协助下一个 POI 推荐。具体来说，提出了时空门控网络（STGN）来为下一个 POI 推荐中的用户长期和短期偏好建模个性化序列模式。在POI上下文预测中，利用POI侧丰富的上下文来构建图，并增强相邻POI之间的平滑性。最后，我们联合训练 POI 上下文预测和下一个 POI 推荐，以充分利用标记和未标记数据。对真实世界数据集的大量实验表明，我们的方法在准确性和 MAP 方面优于其他 POI 推荐方法。

1 Introduce

文章介绍了一下基于地理的社交网络（LBSN）吸引了很多用户去分享自己的足迹和是首选兴趣点（POIs），这些信息提供了了解用户对POIs偏好的机会，这对于帮助用户探索周围环境具有很大的价值，也有利于POI持有者向目标客户投放广告进行营销。

重要的挑战：

1. 数据稀疏性（Data Sparsity）：数据稀疏问题对下一步的 POI 推荐影响更大，因为稀疏数据会导致序列较短，从而难以捕获用户的序列模式。此外，POI推荐的数据过去都是二元隐式的而非显式的，用户行为的规律性不利于被发现和利用。

2. 顺序模式（Sequential Pattern）：与POI推荐相比，下一个POI推荐，即为用户推荐近期访问的POI，除了考虑用户的偏好之外，还考虑了用户签到的顺序信息。顺序模式有

   2个含义

   ，一方面，用户在特定的时间做特定的动作，如午饭时间去餐厅。另一方面，用户的行为之间存在一定的时间顺序，从而导致POI的特定顺序，这也反映了不同用户的个性化偏好。

3. 各种上下文（Various Contexts）：包括时间上下文，地理影响，用户社会影响，辅助元数据信息例如文本描述，等等。事实上，可用的上下文通常受到数据集的限制。作者只使用时间间隔、距离间隔和附近的 POI 作为 POI 上下文。这些可以对顺序信息和协作信息进行建模的上下文是自然可用的。

目前的文献中，潜在因素模型和马尔科夫链等方法已经广泛应用于序列数据分析和推荐。最近，RNNs已成功用于对序列数据进行建模，并成为最先进的方法。然而没有一个推荐方法同时考虑临近项目之间的时间和地理距离，这使得下一个POI推荐不同于其他顺序任务。最近人们做出了一些努力来扩展 RNN，以对动态时间和距离间隔进行建模。

作者这里主要介绍了ST-RNN[1]模型，它尝试扩展 RNN 来对时间和空间上下文进行建模，以进行下一个位置预测。为了对时间上下文进行建模，ST-RNN 在每个 RNN 单元的时间窗口中对多重签入进行建模。同时，ST-RNN 采用特定于时间和特定于距离的转换矩阵来分别表征动态时间间隔和地理距离。然而，存在一些挑战阻止 ST-RNN 成为下一个 POI 推荐的最佳解决方案。首先，ST-RNN 可能无法正确建模邻居签入的空间和时间关系。 ST-RNN 在 RNN 内的单元隐藏状态之间采用时间特定和距离特定的转换矩阵。由于数据稀疏性，ST-RNN 采用线性插值将时间间隔和地理距离分别划分为离散箱，而不是学习每个可能的连续时间间隔和地理距离。其次，ST-RNN 是为了短期利益而设计的，并没有很好地考虑长期利益。贾纳赫等人。第三，由于 ST-RNN 在固定时间段内对多个元素进行建模，因此很难针对不同应用选择合适的时间窗口宽度。

[1] Q. Liu, S. Wu, L. Wang, and T. Tan, “Predicting the next location: A recurrent model with spatial and temporal contexts,” in Proc. 30th AAAI Conf. Artif. Intell., 2016, pp. 194–200.

最近，半监督学习（SSL）旨在利用未标记的数据来提高整体学习偏好。

在本文中，作者提出了一种新颖的统一神经网络框架，名为 NeuNext，从未标记的上下文数据和标记的签到数据中联合学习 POI 嵌入和网络模型，以提高下一个 POI 推荐性能。所提出的 NeuNext 框架由两部分组成：下一个 POI 推荐和 POI 上下文预测。 NeuNext 联合优化标记签入数据的监督损失以及标记数据和未标记上下文数据的无监督损失，以减轻数据稀疏性，并旨在利用未标记的数据提高下一个 POI 推荐性能。与之前的工作不同的是，NeuNext 中上下文的嵌入是与下一个 POI 推荐联合训练的。

贡献：

• 模型 NeuNext

  联合模拟

  了各种上下文和用户的顺序访问模式，是第一个采用

  混合嵌入和循环神经网络技术

  进行下一个 POI 推荐的工作。

• 我们提出了一种增强的长期短期记忆方法，名为

  STGN

  ，分别对用户的短期和长期顺序偏好进行建模。

• 所提出的方法已在大规模现实世界数据上进行了评估，以用于下一个 POI 推荐。我们的实验结果表明，我们的方法在不同指标（例如准确性和 MAP）方面优于最先进的方法。

2 RELATED WORK

本章从一般POI推荐、下一个POI推荐以及利用神经网络进行推荐三个方面对相关工作进行了综述。

3 PROBLEM FORMULATION AND FRAMEWORK OVERVIEW

问题陈述：介绍了文章重要的符号含义和输出的介绍。

LSTM：作者在他们的方法中使用基本的LSTM模型。

总体框架：

NeuNext 中有两个部分：下一个 POI 推荐捕获用户的访问顺序模式，POI 上下文预测增强 POI 和上下文之间的平滑性。该模型的基本输入是用户 POI 签到序列。

Next POI Recommendation. 通过增强长期短期记忆提出了一种新的时空门控网络，名为 STGN，具有两对时间门和距离门，分别对用户的长期和短期偏好进行建模。

POI Context Prediction. 对于用户签到历史中的每个POI，使用Skipgram模型来预测POI在POI上下文图上的上下文。获得 POI 的上下文后，Skipgram 的目标是优化使用 POI 的嵌入来预测上下文的对数损失。

Joint Learning. NeuNext 根据基于共享 POI 嵌入的两类目标函数联合训练，以推荐下一个 POI 并预测 POI 的上下文。目标函数包括标记签到数据的监督损失和用于增强 POI 和上下文之间的平滑性的无监督损失或正则化惩罚。 NeuNext 通过优化上述两个损失的总和来联合训练，这将学习更好的 POI 嵌入。

4 OUR APPROACH

本章主要介绍了框架的细节，包括STGN及其变体，用于学习顺序偏好、POI 上下文预测和联合学习。

4.1 Next POI Recommendation

使用LSTM用于下一个POI推荐，$x_t$ 代表用户最后访问的 POI，可以用来了解用户的短期兴趣。而$c_{t-1}$ 包含用户历史访问过的POI信息，反映了用户的长期兴趣。然而，短期兴趣在多大程度上决定下一步要去哪里，很大程度上取决于上一个POI和下一个POI之间的时间间隔和地理距离。

提出的时空门控网络模型中，作者使用时间门和距离门来控制上次访问的 POI 对下一个 POI 推荐的影响。此外，时间门和距离门还可以帮助在单元状态$c_t$中存储时间和距离间隔，从而记住用户的长期兴趣。这样，便可以利用时间和距离间隔同时对用户的短期兴趣和长期兴趣进行建模。

作者在LSTM上添加了2对时间门和距离门，分别表示为$T{1}_t,T{2}_t,D{1}_t,D{2}_t$。第一对用于控制最近访问的POI对下一个POI的影响；第二对用于捕获时间和距离间隔来建模用户的长期兴趣。

基于LSTM，添加的时间门和距离门的等式如下：

修改方程式(4),(5),(6):

$T{1}_t$可以看作是考虑时间间隔的输入信息过滤器，$D{1}_t$ 可以看作是另一个考虑距离间隔的输入信息过滤器。我们添加一个新的单元状态 ${\hat{c}}_{}$