POI推荐文献阅读笔记2： GETNext：Trajectory Flow Map Enhanced Transformer for Next

摘要

来源： SIGIR '22: The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval Madrid Spain July 11 - 15, 2022
时间：2022
作者： Song Yang, Jiamou Liu, Kaiqi Zhao
关键词：Next POI Recommendation、Graph Neural Networks、Transformer
下一个POI推荐旨在根据用户的当前状态和历史信息来预测用户的近期移动，这对用户和服务提供商都有很大的价值。文章提出了一个用户不可知的全局轨迹流图和一个新的图增强Transformer模型：GETNext来进行下一个POI的预测以及缓解冷启动问题。GETNext将全局迁移模式、用户的一般偏好、时空上下文和时间感知的类别嵌入到Transformer模型中，以预测用户的未来移动。

1 INTRODUCTION

常见的预测POI解决思路是将POI推荐视为一个序列预测 任务，用各种形式的RNN进行时空信息编码，但是具有三个局限性。第一个是此类模型在短轨迹上的表现显著下降，第二个是对于有些用户只在少量的POI上签到的这种情况即冷启动问题处理效果不好，第三个是现有模型无法在POI类别和时间之间建立连接。文章认为利用其他用户的集体信息构建全局的轨迹流图可以缓解以上限制。使用这些轨迹流图需要解决三个问题：
1.如何从签到序列中聚合提取信息形成全局轨迹流图
2.如何在轨迹流图中保留下重要的上下文信息外也保存下如类别信息以及用户偏好等
3.如何同时结合集体的移动规律和个性化偏好
对于问题1，文章构建了一个用户不可知的轨迹流图，图中POI节点属性包括地理位置、类别和签到次数。处理方式为：如果一个POI与另一个POI在同一个签到轨迹中先后访问，就用一条有向边将这俩POI连接，边的权重代表它们俩的共同访问频率。这个轨迹流图可以捕捉POI之间过渡的影响。使用图卷积网络GCN将POI嵌入到一个保持POI之间全局转换的潜在空间，就是对于每个POI的嵌入都通过其邻近节点的聚合来进行更新，这样每个POI的嵌入都会受到其前例的影响从而保留全局转变信息。这样一来即使不知道user的历史签到信息也可以推荐当前POI最可能的一个邻居节点。对于较大的k，使用全局流图会提高top-k精度。
对于问题2，用嵌入层来捕获用户的一般偏好、POI类别嵌入以及用time2vec模型来完成时间嵌入。另外POI类别通常与时间有较大的关系，为联系在一起将类别和时间嵌入合并送入一个融合模块来产生一个与时间有关系的POI类别上下文嵌入。
对于问题3，GETNext采用了Transformer编码器和几个MLP解码器来融合这个POI嵌入和其他个性化嵌入中编码了的隐式全局流模式。另外全局流模式也通过一个学习过后的transition注意力map进入到最后的预测。

2 RELATED WORK

2.1 Next POI Recommendation

早期研究采用其他序列推荐任务中被广泛使用的办法比如马尔科夫链。
最近研究又转向了深度学习和嵌入方法比如使用RNN变体。

2.2 Graphs in Location-based Recommendation

文章旨在利用基于图的方法进行下一个POI的推荐。基于图的方法比如LBSN以及GGLR。
文章指出上述研究是针对传统的POI推荐不是nextPOI推荐。GETNext是第一个在next POI推荐任务中使用基于图的学习来编码POI的通用过渡信息的模型。

3 PROBLEM FORMULATION

$U=u_1,u_2...,u_M$是一个用户的集合，$P=p_1,p_2...p_N$是一个POI的集合，$T=t_1,t_2...t_K$是一个时间戳集合，M、N、K都是正整数。对于集合P中的每一个POI–p都被定义为一个元组$p$