【文献阅读】路径感知的图注意力做运动预测（Fang Da等人，ArXiv，ICRA 2022）

一、背景

        文章题目：《Path-Aware Graph Attention for HD Maps in Motion Prediction》

        文章下载地址：2202.13772.pdf (arxiv.org)https://arxiv.org/pdf/2202.13772.pdf

        文献引用格式：Fang Da and Yu Zhang.  "Path-Aware Graph Attention for HD Maps in Motion Prediction". arXiv preprint, arXiv: 2202.13772, 2021.

        项目地址：暂无

二、文章摘要

The success of motion prediction for autonomous driving relies on integration of information from the HD maps. As maps are naturally graph-structured, investigation on graph neural networks (GNNs) for encoding HD maps is burgeoning in recent years. However, unlike many other applications where GNNs have been straightforwardly deployed, HD maps are heterogeneous graphs where vertices (lanes) are connected by edges (lane-lane interaction relationships) of various nature, and most graph-based models are not designed to understand the variety of edge types which provide crucial cues for predicting how the agents would travel the lanes. To overcome this challenge, we propose Path-Aware Graph Attention, a novel attention architecture that infers the attention between two vertices by parsing the sequence of edges forming the paths that connect them. Our analysis illustrates how the proposed attention mechanism can facilitate learning in a didactic problem where existing graph networks like GCN struggle. By improving map encoding, the proposed model surpasses previous state of the art on the Argoverse Motion Forecasting dataset, and won the first place in the 2021 Argoverse Motion Forecasting Competition.

        自动驾驶中的运动预测，主要依赖于高清地图的信息整合。而地图总是图结构的，在图神经网络上，编码高清地图也是最近几年迅速发展起来的。然而，不同于GNN直接部署的其他应用，高清地图是一种异质图，顶点（即道路）通过多种自然的边（道路之间交错的关系）连接的，很多图模型并没有设计出，能够理解类型多样的边的模型，这些多样的边提供了关键信息，能够预测汽车是如何在道路上行驶的。为了克服这个问题，作者提出了道路感知图注意力，一种新的注意力机制结构，能够通过解析边序列，即构成连接顶点的路径，进而推断两个顶点之间的注意力。试验结果表明，提出的注意力机制能够加速学习。通过改进地图编码，提出的模型能够超过之前在Argoverse Motion Forecasting数据集上的最好结果，并获得2021 Argoverse Motion Forecasting Competition比赛的第一名。

三、文章介绍

        高清地图在自动驾驶中是非常重要的资源。一般高清地图往往会结构化成图，而该图是异质的，不同的边所包含的语义信息是不同的。传统的图结构模型，多用于社会网络分析，蛋白质的相互作用，总是会忽略边类型的多样，且更关注于顶点处的特征处理，顶点之间的关系往往只是“连接”或者“未连接”。而这对于编码道路图来说是不够的，道路之间不仅仅是连接或者未连接，还有是什么形式连接，如果用传统的图模型，可能会导致自动驾驶中的非法变道。

        而处理异质图目前也有一些技术。例如，一种方式可以把每条边都变成一个顶点，在原始顶点上关联新的边，因此将一个异质图转变为一个更大的同质图。另一种方式可以给每一个边附加上特征，来捕捉语义结构。然而，对于机器来说，理解这个结构并非易事。

        为了说明道路结构模式的复杂性，图1举出了一些例子：

        即描述道路连接图中有可能会存在歧义。比如图1中左转的情况，根据车速，道路曲率和交通，一般驾驶员会选择中间车道或者最右边道路。中间这张图，包含了一个并线和换道。右边的道路则更为复杂和混乱。

        因此，高清地图道路图的编码模型对理解道路之间如何连接非常有必要。因此，本研究的主要贡献在于，提出了一个道路感知图的注意力（Path-Aware Graph Attention(PAGA)）。正如其名，两个顶点之间的注意门是从连接两个顶点的路径上的边缘特征序列(尤其是边缘类型)学习的，而不是从顶点特征本身学习的。  

1. 相关工作

（1）运动预测（Motion Prediction）

        根据空间特征的表示方式，运动预测可以分成两种范式，即栅格化和矢量化。

        栅格化（Rasterized）：理解周围环境任务可以认为是一个计算机视觉问题，一般可以用基于图像的卷积神经网络来处理。一些学者指出，栅格化的方法有利于捕捉地图的空间上下文信息。比如使用RNN来预测交通的模型ChauffeurNet；MultiPath模型采用基于特征的分类和回归的思想来做预测；CoverNet采用生成模型来预测；Multiple Futures Prediction和Multi-Agent Tensor Fusion采用RNN进行编码和解码的方式来预测。

        矢量化（Vectorized）：适量话的方法是基于地图的拓扑学原理，将其作为图来处理。相较于栅格化的方法，矢量化的方法更加紧凑且更有效率。根据连通性的定义，图可以更好的描述复杂的交通语义信息，例如两条相接的道路，但是中间的线阻断了他们之间的交互。代表性的工作包括VectorNet，LaneGCN，LaneRCNN。

（2）GNN和注意力（Graph Neural Networks and Attention）

        因为很多应用中的数据都能够表示为一个图，深度学习也在理解图结构上积极的探索。GNN就是一种可以在周围信息传递中能够学习稳定的状态。之后也有一些工作使用RNN来做了类似的事情。为了克服图神经网络中不规则的拓扑学规律，也发展出了一些工作，比如PATCHY-SAN和Graph-SAGE。此后的一些GNN中，引入了卷积思想，代表工作如GCN和NN4G。目前GCN已经用在了很多领域，例如蛋白质结构，社交网络，喷气物理，推荐系统等。

2. 方法

（1）定义

（2）道路感知的图注意力

（3）道路感知图注意力背后的感知

3. 试验

（1）说教问题：跳跃交互的学习（Didactic Problem: Learning a Skip Interaction）

（2）在Argoverse上的试验评估（Experimental Evaluation on Argoverse）

（3）消融试验（Ablation Experiments）

四、小结