[阅读小记] CTLE - A Context and Time Aware Location Embedding model

概述

《Pre-training Context and Time Aware Location Embeddings from Spatial-Temporal Trajectories for User Next Location Prediction》发表于 AAAI 2021 会议上。

该文章创新点在于提出了一种新的轨迹点表征方式。该表征方法能够运用于多个下游任务中，并可以在不改变下游任务模型网络结构的情况下提升模型的性能。在原文的实验环节中，作者选择轨迹下一跳预测任务作为下游任务，将 CTLE 与多种轨迹点表征基线方法进行对比实验。具体实现操作上，是将预训练好的 CTLE 表征层（或其他基线表征方法）替换掉轨迹预测模型原有的 Embedding 层。

模型结构

模型的整体结构如下图所示（图源自论文原文）：

Encoding Layer 对于每个轨迹的空间编号与时间编号进行简单的嵌入。空间信息的嵌入使用的是基础的全连接 Embedding 层（也就是 torch 里的 embedding ）。时间信息的嵌入是参考了 NLP 中的 Positional Encoding 设计了能够捕捉时间差的嵌入方式。

每个轨迹点嵌入之后，再经过一个 Transformer 完成基于轨迹点上下文信息优化轨迹点的表征。在训练上是参考了 Bert 模型的 Masked Language Model 的训练方式。

小结

个人认为，该论文主要参考了 NLP 领域内的基于上下文的词嵌入方法，来实现时空领域下的轨迹点的嵌入。而以往的研究中，少有研究专注于表征提取这种上游任务，更多是在下游任务上设计更加复杂的神经网络以实现性能的提升。因此，后续可以多调研下 NLP 中的相关方法，将其引入时空数据挖掘领域中。