ARNN-

由于数据的稀疏性，LBSN中下一个位置建议仍然非常困难，大多数位置后面只有少于5个连续的位置，这种数据稀疏性问题使得难以学习位置之间的有效顺序模式。

我们通过假设两个位置相似来扩展相似的位置：1.地理位置接近，2.用相同的语义描述，3.由同一用户首选 。这种方法被认为是基于邻居的策略，即聚合邻居的有用特征以提供推荐，

我们提出了一种基于注意机制的递归神经网络（ARNN）来联合建模相似位置（邻居）的序列规律性和转移规律性。特别地，我们首先设计了一个基于元路径的随机游走在一个新的知识图上，以此来发现基于异质因素的位置邻居。然后采用一个递归神经网络，通过捕捉控制用户移动性的各种上下文，对序列规则性进行建模。同时，通过注意机制整合被发现邻居的转移规律，并将其与序列规则无缝协作，形成一个统一的递归框架。在多个真实数据集上的实验结果表明，ARNN都优于最新的方法。

稀疏问题：定义了following locations是指当用户去了某地A，又去了下一个地方B，B是A的following location。超过50%只有一个在NY和TK，超过80%的地点在三个城市下的地点少于5个。

common ratio：给定k和j的following location集合，Lk和Lj，，衡量两者的重叠程度

 如果k和j更相似，那么他们的子集中会有更多的重叠，分别分析三种不同类型的邻居w.r.t的平均公共比率，如图2b-d。相似的位置共享许多相似的邻居。

我们计算三种邻居的平均公共比率w,r,t,地理（geo），语义（sem），用户偏好（user）因素与非邻居相比。邻居的平均公共比率始终高于非邻居。

问题描述：

U表示用户，L表示位置，V表示单词（poi类别和标签）

定义1：历史顺序，r表示（u，l，t）的元组，是l的语义，包括l的类别和标签。

定义2：trajectory：时间序列中的两两相邻位置的时间间隔小于设定值▲t

框架

提出的注意递归神经网络框架（ARNN)由四层组成：嵌入层，注意层，递归层和输出层。 

 我们首先设计一个多模态嵌入层来学习位置和各种上下文的密集表示，进一步馈入递归层。为了提取各种类型的邻居，我们构建了一个新的知识图（KG），以将异构信息（包括用户，位置和语义（位置的类别和标签））容纳到一个统一的空间中。然后，设计基于元路径的KG上的随机游走以基于地理，语义和用户偏好因素有效地发现邻居。为了捕获相关邻居的转换规律，开发注意层以通过区分当前位置的每个邻居来生成加权嵌入。通过整合注意层和当前状态的加权嵌入，递归层可以生成隐藏状态，该状态对直到当前时间步长观察到的信息进行编码。最后，输出层共同考虑轨迹信息和用户总体兴趣，推荐下一个位置。

邻居发现：为了捕获实现位置之间连接的异构因素，我们利用知识图和元路径进行邻居发现。首先构造了一个新的知识图：G={U∪L∪V，Eul∪Ell∪Elv}，Ell代表位置-位置关系，也就是说如果两个位置在地理上彼此靠近，距离小于▲d，他们是链接的。Elv表示位置词从属关系，Eul表示用户历史访问。每个输入元组（u,l,t）表示签到r，每个位置由一组词S描述，通过汇总历史签到，将历史记录的异构数据容纳到统一表示空间中的地理标志，如下图

接下来利用META路径来提取各种邻居。

选择了三个元路径LL,LVL,LUL代表地理，语义和用户偏好因素。对于每个位置，进行随机游走过程以基于上述元路径生成路劲。然后从这些路径中提取邻居。

嵌入层：设计一个多模态嵌入层，以共同学习位置的嵌入及其时间上下文，语义上下文和用户一般兴趣。最后一个是用户嵌入，它不会通过RNN，而是在最后阶段需要加入计算，它表示用户的一般兴趣。

注意力层：为了模拟邻居的转换规律，我们利用注意机制在序列的每个时间步自动基于当前位置选择重要的邻居。注意层被设计为计算当前位置和每个邻居之间的相似度（即注意权重），根据这个相似度给其邻居分配相应的权重，如果邻居与当前位置wrt转换模式更相似，则将为其分配更大的关注权重。

elk是当前位置的嵌入，eln是位置ln的嵌入，它是lk的邻居；ck计算为所有邻居的加权平均嵌入；Wa是权重矩阵；公式2为ln的注意力权重，权重加和为1，fa（）是评分函数，衡量邻居与当前位置之间的相关性。

递归层：对于刚才计算的嵌入作拼接

第k个循环单元采用ek和hk-1更新隐藏状态：

输出层：

通过rnn可以获得隐藏状态hk-1，将其与用户的一般偏好相结合，以预测用户ui将在tk访问的位置。

首先将hk-1解码为Du维向量，公式5，然后连接用户嵌入和ok-1计算L上的分布位置。最后通过softmax得到在L上的概率分布。

数据集