顶刊IV 2023 | LMR：基于车道距离的轨迹预测评价新方案！

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【轨迹预测】技术交流群

后台回复【轨迹预测综述】获取行人、车辆轨迹预测等相关最新论文！

作者｜汽车人

编辑｜自动驾驶之心

轨迹预测方法的发展需要指标来验证和比较它们的性能。目前已建立的指标是基于欧几里得度量的，这意味着各个方向的误差都是平等的。对于道路这样的结构化环境，欧几里德度量是不够的，因为它们不能恰当地捕获智能体相对于底层车道的意图。为了对下游规划任务的轨迹预测方法进行合理的评估，作者提出了一种基于车道距离的轨迹预测方法: 车道脱靶率(LMR)。对于 LMR 的计算，真值和预测端点被分配到车道段，更精确地说，它们的中心线。通过沿车道段的距离来衡量，在到达地面的一定阈值距离内的预测算作命中，否则算作未命中。然后，LMR 被定义为产生漏检的序列的比率。作者对三种最先进的轨迹预测模型的研究结果表明，LMR 保持了基于欧氏距离度量的顺序。与欧几里德错过率相反，定性结果表明，LMR 产生的丢失序列的预测是位于错误的车道。另一方面，命中结果的序列预测是位于正确的车道。这意味着 LMR 隐式加权相对于车道的欧氏误差，并进入捕获交通智能体的意图的方向。

介绍

为了规划未来的运动，自动驾驶汽车需要预测周围物体的运动。最近，人们对基于学习的轨迹预测产生了很大的兴趣，从而产生了无数不同的方法，例如，基于向量化[1]-[3]或光栅化[4]，[5]场景表示来预测轨迹。鉴于这种方法的多样性，还需要进行定量比较的方法。为此，存在预测指标，如平均位移误差（ADE）、最终位移误差（FDE）和未命中率（MR）。这些目前建立的预测度量是基于真值和预测之间的欧几里得距离。作者认为，仅仅通过空间距离的平均值是不够的，因为它没有考虑到不同方向上位移的不同影响，例如，由于车道几何形状和交通法规的变化。例如，在某些情况下，纵向上的欧几里得误差比横向距离上的相同欧几里得误差严重性小很多，横向误差大可能会产生位于迎面而来的对面车道上的预测。考虑到下游规划任务，这意味着相同的欧几里得误差可以产生显著不同的结果。因此，欧几里得误差对下游规划任务具有不均匀的影响。

在本文中，作者提出了一种基于车道距离的指标，用于评估轨迹预测模型。对于该指标的计算，将真值和预测终点指定给车道段。通过沿着车道段的距离来测量，距离真值在一定阈值距离内的预测被视为命中，而在该阈值距离之外的预测则被视为未命中。

下图1说明了这与已经存在的基于欧几里得距离的MR相比是如何的。（a）即使在相对车道和可驾驶空间之外的预测中，基于欧几里德距离的MR也会产生命中率。作者的（b）基于车道距离MR，目的是通过只对分配给与真值相同的车道段的预测产生命中来考虑不均匀影响。这样，作者的度量就朝着捕捉交通智能体意图的方向发展了。

总之，作者的主要贡献是：

1. 作者提出了车道未命中率（LMR），这是一种新的基于车道距离的指标，用于评估轨迹预测模型。

2. 作者在已经建立的指标和新引入的LMR上广泛比较了不同的最先进的轨迹预测模型。

3. 作者为Argoverse 2提供了LMR的公开源代码，因此为轨迹预测评估领域做出了贡献。

二、相关工作

本节介绍了有关轨迹预测模型评估的相关工作。现有的方法分为基于准确性的度量、质量度量和基于规划的度量。

A.基于精度的度量

基于精度的指标主要是基于欧几里得距离的，是用于评估轨迹预测模型的最成熟的度量[6]–[8]。最小平均位移误差（minADE）和最小最终位移误差（minimum Final Displacement Error，minFDE）是在与基于学习的轨迹预测[6]、[9]-[12]相关的早期工作中引入的度量。minFDE是真值端点和预测端点之间的欧几里得距离。对于多模态预测，只考虑具有最短距离的预测。minADE是真值和预测轨迹之间的平均欧几里得距离，使用用于计算minFDE的相同轨迹来评估多模态预测。对于每个模式都有概率估计的多模态预测，适用brier minADE和brier minFDE[13]。它们对应于添加到minADE和minFDE值的项（）。该项考虑了为minADE和minFDE计算选择的模式的概率p。

未命中率（MR）是序列的比率，其中欧几里得预测误差大于定义的阈值[9]，[14]。最常见的是，预测误差是指欧几里得端点误差，阈值是预定义的距离，例如2m[6]，[8]。对于多模态预测，所有模态都必须高于阈值，才能产生未命中。对于额外依赖于时间和速度的纵向和横向，使用单独的欧几里得阈值也是可能的[7]。其他值得注意的基于欧几里得距离的度量是基于MR的平均精度（mAP）[7]和负对数似然（NLL）[15]，后者额外考虑了预测中的位置不确定性。作者提出的度量也是基于准确性的。然而，与已经存在的基于精度的度量相比，它取决于车道距离，而不是纯欧几里得距离。

B.质量度量

另外，可以在不考虑真值的情况下测量预测轨迹的质量。转弯率不可行性（TRI）用于测量根据预测转弯半径在运动学上不可行的预测的比率[16]。off-road率和可行驶区域合规性（DAC）通过确定预测是否位于地图给定的可行驶空间内来衡量预测的质量[6]。质量度量决不能取代现有的基于距离的度量。它们只是作为一个额外的标准来检查某些需求（例如，运动学上可行的预测），这就是为什么它们没有得到很好的使用。

C.基于规划的度量

与其直接量化预测性能，还可以衡量利用这些预测的规划者的性能。规划KL偏差（PKL）是一种允许进行此类比较的指标[17]。PKL用于将依赖于不同目标检测器的规划器的输出与使用真实目标的同一规划器的输出来进行比较。该原理还允许比较依赖于不同预测模型的规划器性能，而不是比较取决于不同目标检测器的规划器的性能。不利的一面是，预测性能并不是以一种孤立的方式来衡量的。另一种方法是只使用规划器不可知的损失函数进行规划[18]。依靠连续逆最优控制从大规模数据集中学习损失函数的权重，使得该方法依赖于用于学习的数据集的分布。虽然这些基于规划的度量旨在不受基于欧几里得距离的度量的不均匀性的影响，但作者认为简单性仍然是度量适用性的重要标准。使用规划器或规划器损失函数实现起来很复杂，并引入了对规划器或损失函数的额外依赖，这就是为什么这些指标没有得到很好的使用。

问题定义

作者将智能体的未来轨迹真值定义为 τ， 是预测范围。轨迹预测模型的预测表示为＝，，其中，τ。索引 i∈1,...k，通过包括k个预测模式来考虑未来运动的多模态。轨迹预测模型的评估归结为找到的质量度量，可能取决于。

方法

本节描述了LMR，这是作者基于车道距离的交通预测评估指标。

算法

下面算法1为单个序列的评估提供了作者的度量的伪代码。输入是未来真值、多模态预测和车道图G。输出是列表x，其中包含每个预测模式的标签1（未命中）或0（命中）。

在高级别上，该算法的工作方式如下：真值端点被指定给车道段，更确切地说，被指定给位于车道段中心线上的点（第10行）。每个预测的轨迹类似地被分配给车道段（第13行）。对于预测，如果多个车道段具有相似的分配置信度，则可以进行多次分配。这样可以处理重叠的车道段。如果从真值的指定点到预测的任何指定点沿G的距离小于速度相关阈值，则预测为命中（标记0）。否则，它就是未命中（标签1）。有两种特殊情况在算法1中没有定义：如果真值没有有效的车道分配（例如，真值在可行驶空间之外），作者回到欧几里得MR，通过检查预测的端点是否在半径内能到达真值端点，判断预测是命中还是未命中。如果对于真值有有效的车道分配，但对于预测的轨迹没有，则预测总是未命中（标记1）。

为了计算LMR，在整个数据集D上累积未命中。下面算法2为这种累积提供了伪代码，它遵循原始欧几里得MR的原理。

定义为其中k＝1模式（具有最高置信度的模式）被标记为未命中的序列的比率。被定义为所有k个模式都被标记为未命中的序列的比率。

实现细节

作者在Python中实现了此度量。该实现是在序列级别上并行化的，这意味着算法2中的第8行可以并行执行多次。为了能够有效地将轨迹分配给车道段的中心线，使用R-树进行查询给定点周围的车道段（算法1，第22行）。因此，车道中心线用最小边界矩形表示。这样可以有效查询与定义点周围区域相交的中心线矩形。沿着车道图G（算法1，第14行）寻找有效路径是使用深度优先搜索来完成的。作者只允许通过后面和前面的车道段进行遍历。

和的值以原始MR为方向，原始MR具有2m的固定欧几里得阈值。选择它们是为了使时的，这对应于下一节的A中描述的数据集验证分割中的平均智能体速度。

实验

在本节中，作者使用提出的指标来评估轨迹预测模型。这包括定量和定性结果的讨论。

数据集

实验是在大型Argoverse 2运动预测数据集[8]上进行的，该数据集包含199908个用于训练的序列、24988个用于验证的序列和24984个用于测试的序列。每个序列都包含一张高精（HD）地图和自动驾驶汽车周围智能体的跟踪状态。这些状态在11s的持续时间内提供，并以10Hz进行采样。给定序列的初始5s，目标是预测一个选定智能体（即焦点智能体）的剩余6s的轨迹。

度量

为了能够比较作者新引入的基于车道距离的度量，还使用最常用的基于欧几里得距离的度量来评估交通预测模型，即minADE、minFDE和MR。对于MR，使用固定阈值为2m的最常见定义。对单模态（k=1）和多模态（k=6）预测进行了评估。评估仅限于类车辆智能体，意味着只考虑类型车辆、摩托车手和公交车的智能体。

轨迹预测模型

作者在Argoverse 2上重新实现了三种不同的最先进的轨迹预测模型，并对它们进行了基准测试，以便将作者提出的LMR与最广泛使用的基于欧几里得距离的度量进行比较。所有型号都为Argoverse 1提供了公开可用的代码。然而，Argoverse 2不仅限于车辆，这就是为什么作者在所有模型的输入中添加每个智能体类的时间步长一个热编码。训练规则与原始论文保持一致。

CRAT Pred[3] 是一种无地图预测模型，在不使用地图信息的情况下实现了最先进的性能。Agent轨迹是通过长短期记忆进行编码的。图卷积和自注意力用于将时间智能体信息与周围智能体的信息（即环境上下文）聚合。线性残差解码器用于预测轨迹。

HiVT[20] 由一个局部编码器和一个全局编码器组成。局部编码器首先使用时间步长的自注意力和随后的时间transformer，在考虑到其周边智能体的情况下，对智能体的轨迹进行编码。然后将这些局部编码与HD图的信息进行融合。对场景中的每个智能体分别进行局部编码。随后的全局编码器允许在由局部编码器产生的编码之间进行信息交换。多层感知机用于预测轨迹。由于每个智能体轨迹的时间步长编码的计算复杂性，包括周围智能体给出的环境上下文，作者将运动历史限制在最后2秒。这应该对结果几乎没有影响，因为先前在基于学习的行人轨迹预测领域的工作表明，剥夺长运动历史不会导致预测退化[21]。

LaneGCN [2]表示车道图中HD地图的信息，并使用图卷积从该车道图中提取信息。通过一维卷积神经网络和特征金字塔网络对智能体轨迹进行编码。使用四个融合循环来将该信息与车道图的信息融合。预测是用线性残差解码器进行的。

定量结果

下表一显示了Argoverse 2验证拆分的定量结果。如前所述，选择阈值使LMR与MR相当。例如，对于CRAT-Pred，为75.69%，为74.27%。根据基于欧几里得距离的度量，HiVT在为 71.82%，LaneGCN更高， 为71.14%。同样适用于作者基于车道距离的指标对于HiVT和LaneGCN，分别为70.21%和68.63%。一个有趣的观察结果是LMR在所有定量结果中保持基于欧几里得距离的度量的顺序。_

另一个方面是，与其他度量相比，LMR的模型之间的相对偏差不同。例如，HiVT的为29.97%，LaneGCN的为25.87%，相对增加了15.85%。然而对于，HiVT为33.30%，LaneGCN为29.72%，相对增加仅12.05%。这些值表明HiVT和LaneGCN之间的有效性能差异较低，这只能通过作者新的LMR指标来确定。此外，这也证实了使用车道距离而不是欧几里得距离的额外度量所带来的好处。作者建议研究使用基于车道的损失的轨迹预测模型的性能，例如[22]。此外，作者建议研究使用车道段以外信息的编码器，例如[23]，并了解这如何隐含地影响基于车道距离的度量。由于缺乏公开可用的代码，这超出了本文的范围。

定性结果

下图2显示了定性示例，其中导致与标准欧几里得不同的结果。

图2（a）显示了根据LMR而不是根据MR对所有预测轨迹产生未命中的序列。在所有三个序列中，预测都没有覆盖真值的车道，因此LMR导致未命中。这表明LMR通过将真值和预测分配给车道段的中心线，隐式地加权了相对于车道的欧几里得误差。然而，MR依赖于欧几里得距离，因此在所有方向上对误差加权相等。这导致预测不会导致失误，尽管是位于错误的车道上。

图2（b）显示了在MR方面但在LMR方面对所有预测轨迹产生未命中的序列。所有三个序列都显示出明显的趋势：预测位于正确的车道上，但在2米MR半径之外。同样，这说明LMR隐含地加权了相对于车道的欧几里得误差。在这种情况下，预测不会被标记为未命中，因为它们位于正确的车道上，因此涵盖了预测车辆的意图。

结论

作者提出了一种新的基于车道距离的轨迹预测模型评估指标LMR。对三个最先进的轨迹预测模型的定量和定性结果证实了这一额外指标的有效性。LMR的好处是欧几里得误差的分量相对于底层车道进行加权。通过这种方式，LMR扩展了现有的纯几何度量集，并朝着捕获交通智能体意图的方向发展。作者为Argoverse 2公开的LMR源代码使其他研究人员能够使用这种基于车道距离的度量来评估他们的方法。

参考

[1] LMR: Lane Distance-Based Metric for Trajectory Prediction

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称