Self-supervised Trajectory Representation Learning with Temporal Regularities and Travel Semantics

1.背景

• 早期的TRL将轨迹视为普通序列数据，不能完全捕捉轨迹的时空语义信息
• 现有的两阶段方法
  • 只对静态道路图进行建模，没有结合旅行语义，如路段间的转移概率
  • 将轨迹视为位置序列，没有考虑时间信息
  • 预训练任务重没有考虑轨迹的时空特征
    • 序列重建
    • MLM

2.方法

• 采用两阶段学习方法
  • 轨迹模式增强图注意力网络
    • 以道路特征作为输入
    • 使用路段转移概率矩阵来建模道路访问频率
    • 这样道路特征的旅行语义和访问频率都会被融入到道路表征中
  • 将道路表征序列转换为轨迹表征
    • 结合时间规则性信息

3.模型

3.1 轨迹模式增强的图注意层 TPE-GAT

• 功能：将路网转换为融合轨迹旅行语义的表征向量

• 轨迹受到道路网络连通性的约束，因此需要从道路特征和网络结构来学习道路表征向量。

• 标准的GAT无法捕捉轨迹中的旅行模式

  • 引入路段之间的概率转移矩阵来模拟路段访问频率，扩展了GAT的注意力权重计算

• 输入

  • 路段特征${\mathbf{F}}_{\mathcal{V}}$
    • 道路类型、道路长度、车道数、限速、入度、出度
    • 做cat操作作为路段的初始表征向量

• 第$l$层路段$v_i$和$v_j$的注意力权重${\alpha }_{ij}$计算

• $h_i$和$h_j$分别表示路段$v_i,v_j$的表征向量

• $p_{ij}^{trans}$是$v_i$到$v_j$的转移概率

• 输出：路段特征向量${\mathbf{r}}_i$

• $H_1$是注意力神经元数量，即"头"
• $||$是cat操作

3.2 时间感知轨迹编码层

• 功能：结合时间规律信息，将路段表征序列转变为轨迹表征

3.2.1 轨迹时间模式抽取模块

• 将路段$v_i$的每个时间戳$t_i$嵌入为${\mathbf{t}}_{mi(t_i)}$和${\mathbf{t}}_{di(t_i)}$

  • 其中$mi(t_i)$和$di(t_i)$分别是将$t_i$转换为分钟序号(1-1440)和天序号(1-7)的函数

• 得到$v_i$的最终embedding

• ${\mathbf{r}}_i$：路段特征向量

• ${\mathbf{pe}}_i$：$v_i$在轨迹的位置编码

• 输出：轨迹的初始表征向量——通过concat所有经过路段的${\mathbf{x}}_i$

3.2.2 时间间隔感知的自注意模块

• 路段之间的不规则时间间隔，可以反映道路的拥堵程度

• $\tilde{\Delta }$是一个自适应的时间间隔矩阵，衡量轨迹路段间的影响

• 当$v_i$和$v_j$之间的时间间隔较短时，${\delta }_{ij}\in \tilde{\Delta }$有较大值，即这两条路在自注意中具有较强的影响

• ${\delta }_{ij}$的计算方法

  • ${\delta }_{i,j}=|t_i-t_j|$

  • 为了让影响随着时间间隔的增加而变小，引入衰减函数

    • ${\delta }_{i,j}^{\prime }=1/log(e+{\delta }_{i,j})$

  • 加入可学习参数

4.预训练任务

• 连续掩码预测

  • 同上一篇

  • 用$[MASK]$替换$v_i$，$[MASKT]$替换时间索引

  • 获得轨迹的预测向量后，经过一个全连接层预测遮盖的道路

  • 使用交叉熵作为loss

• 轨迹对比学习

  • 掩码预测侧重于捕捉道路上下文信息，还需要训练时空特征和旅行语义
  • 数据增强策略
    • 轨迹剪裁——在起点和终点进行裁剪(不破坏轨迹连续性和行进语义)——真的可以不破坏吗？
    • 时间扰动
    • mask
    • Dropout——在嵌入层随机去掉一些特征（还是作为正样本）

5.下游任务

• 出行时间预测——全连接
• 轨迹分类——全连接+softmax
• 轨迹相似度计算和搜索