Robust Road Network Representation Learning: When Traffic Patterns Meet Traveling Semantics

1.背景

• 关于常见图和路网之间特定假设的差异

  • 现有研究在图上的假设在路网中不成立。例如，引用图通常表现出网络同质性，这意味着互连节点比远程节点更相似。然而，空间相邻路段可能不一定在路网上显示类似的交通模式。在Figure 1中，路段$dh,gh,hi,hk$是相互连接的，但是主路和辅路通常有不同的交通模式，例如车流量，因为主路行驶更频繁。

• 特征一致性问题。路网上的特征，如道路类型和车道数，通常在空间上接近的节点之间共享。

  • 由于城市对不同的分区（如商业区和住宅区）表现出不同的功能，路网的某些部分通常具有相同的特征。

2.方法

• 扩展skip-gram模型，通过加入辅助交通上下文预测目标，实现交通模式的模型感知。
  • 不仅能够用原始的skip-gram目标编码路网的图结构，还能够根据交通模式区分路段，从而解决第一个差异问题
• 利用轨迹数据来提取特征一致性导致的路网不可区分部分的行驶语义。
  • 使用堆积的双向Transformer架构将轨迹数据中体现的转移模式捕获到表示中
    • 两个新的训练任务：路径恢复和轨迹识别
• 这两个模块都基于自监督的训练范式，其中交通模式和旅行语义被直接视为训练目标，而无需进一步的特定任务标记信息。

3.模型

3.1 Skip-gram Model

• 将图中的节点视为一个单词，图上的随机游走$S$视为一个句子。

• 最大化在给定目标节点的上下文窗口内观察邻域节点的可能性，等于最小化以下损失函数

• $N(v_i)$指$v_i$的上下文邻居集合。
• $u_i$是$v_i$的embedding

3.2 辅助交通上下文预测任务

• 为了将交通模式融入表征，作者通过引入辅助交通上下文预测任务扩展skip-gram模型。

  • 如限速、道路类型

• 对选定的特征进行二值化

  • 假设从交通上下文特征集 { c n } n = 1 , 2 , ⋯   , N \{c_n\}_{n=1,2,\cdots ,N} {cn​}n=1,2,⋯,N​中选择道路类型$c_n$作为特定特征，它有$|c_n|$种选项，于是被处理为$|c_n|$维标签向量，其中每个维度是0或1，表示目标路段的一个特定选项的存在。

• 给定目标路段$v_i$及其N类交通上下文特征 π ( v i ) = { c n i } n = 1 , 2 , ⋯   , N \mathbf{\pi}(v_i)=\{c_n^i\}_{n=1,2,\cdots,N} π(vi​)={cni​}n=1,2,⋯,N​,最小化以下损失函数

• $c_{nj}^i$是路段（节点）$v_i$的第$n$个特征$c_n$的第$j$项

• ${\mathbf{u}}_i$是$v_i$的embedding

• ${\mathbf{c}}_{nj}$是$c_{nj}$的embedding

• 由此，作者将skip-gram的目标修改为

• π ~ ( v i ) = { c ~ n i } n = 1 , 2 , ⋯   , N \mathbf{\tilde \pi }(v_i)=\{\tilde c_n^i\}_{n=1,2,\cdots,N} π~(vi​)={c~ni​}n=1,2,⋯,N​，${\tilde{c}}_n^i=[\sigma ({\mathbf{u}}_i^T{\mathbf{c}}_{nj}){]}_{j=1}^{|c_n|}$是路段$v_i$的第$n$个预测的上下文

• ${\tilde{\mathbf{u}}}_i$是$v_i$的增强交通嵌入，是原始嵌入${\mathbf{u}}_i$和所有交通上下文预测$\tilde{\pi }(v_i)$的concatenation

• ${\tilde{\mathbf{w}}}_j$是节点$v_j$的上下文嵌入

• 最终损失函数是

• ${\alpha }_n$是控制辅助任务权重的超参数

3.3 双向自注意网络

• Input Embedding Layer

  • 由于自注意网络并行处理输入token，会导致丢失轨迹的顺序信息，因此这里再加入一个可学习的位置嵌入
    • ${\mathbf{x}}_{\mathbf{i}}={\mathbf{u}}_{\mathbf{i}}+{\mathbf{p}}_{\mathbf{i}}$
    • ${\mathbf{u}}_{\mathbf{i}}$是路段嵌入，${\mathbf{p}}_{\mathbf{i}}$是位置嵌入

• 多头自注意力层

• 残差连接+层标准化

• 全连接

3.4 训练——预训练任务

3.4.1 路线恢复

• 屏蔽连续路段。如果随机屏蔽每个路段，skip-gram可能很好地学习到图结构，从而轻易判断出轨迹中某个路段的下一个路段，这就导致MLM无法学到有用的东西。因此采用屏蔽连续路段的方式训练。

3.4.2 轨迹判断

• 判断给定的轨迹是否是真实的轨迹。真实的行程是从轨迹数据库中采样的，而虚假的行程是通过在道路网络上采样的随机行走生成的。
  • 捕获转移模式。通过观察某些子序列不遵循正常的转移模式来识别假行程

4.下游任务

• 路段任务

  • 道路标签分类

  • 交通推断

• 轨迹任务

  • 轨迹相似性搜索
  • 行程时间估计