轨迹预测之问 | Anchor-based方法能否被Anchor-free取代？

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『轨迹预测』技术交流群

编辑 | 自动驾驶之心

Anchor-based方法能否被Anchor-free取代？

Anchor-based方法真的不行吗？

在目标检测和轨迹预测领域，Anchor的概念扮演着举足轻重的角色。它不仅作为检测或预测过程中的重要参考信息，还深刻影响着算法的设计与应用效果。

在目标检测领域，Anchor-based方法通过预设一系列具有不同大小和长宽比的锚框（Anchor Boxes）作为候选区域，用于目标检测。这些锚框基于图像特征或统计数据设计，旨在覆盖可能的目标位置和形状。模型会预测每个锚框内是否存在目标物体，以及目标的位置偏移和类别。这类方法通常具有较高的检测准确率，因为它们通过精细设计的锚框来缩小搜索空间，使得模型更容易学习到目标的特征。同时，它也便于实现多尺度检测，通过在不同层级的特征图上设置不同尺度的锚框来适应不同大小的目标。Anchor-free方法不依赖于预定义的锚框，而是直接在图像或特征图上预测目标的位置和形状。这种方法通过预测关键点（如中心点、角点等）或边界框本身来实现目标检测。这种方法较为灵活，因为它们不受锚框数量和尺度的限制，能够更好地适应不同大小和形状的目标。同时，由于不需要手动设计锚框，这种方法也减少了人工干预和调试的工作量。

在轨迹预测领域，Anchor-based方法通常依赖于先验信息或历史数据来定义一系列可能的轨迹点或路径作为参考。这些方法通过预测智能体相对于这些参考点的运动状态或偏移来预测其未来轨迹，因此，可以利用丰富的历史数据和先验知识来指导预测过程，提高预测的准确性和鲁棒性，同时便于实现多模态预测，通过考虑不同的轨迹点或路径组合来应对智能体行为的不确定性。而Anchor-free轨迹预测方法不依赖于固定的参考点或路径，而是直接根据智能体的历史状态和周围环境信息来预测其未来轨迹。这些方法通常使用深度学习模型来捕捉智能体的运动规律和意图，并据此生成预测轨迹，它们不受限于任何预设的轨迹点或路径，因此能够更好地适应复杂多变的交通环境和智能体行为模式。

当我们观察Argoverse榜单，能看到许许多多anchor-free架构的模型如LOF[1]、HPNet[2]、SEPT[3]以及HiVT[4]等，却难以看见anchor-based模型的影子。这一现象说明了anchor-free方法的预测准确性远远超过anchor-based方法，那anchor-based方法是否会被时代淘汰呢？

图1PBP与SOTA的对比

但在工业界，实际上大家普遍更加认可的却是anchor-based架构，如PBP[5]、TNT[6]或DenseTNT[7]等。一方面，对于下游而言，轨迹预测的准确性并非越高越好，我们定义的准确性是将预测轨迹和预测的GT进行对比，然而数据集的GT不是现实生活中的唯一解另一方面，anchor-based方法输出的轨迹具有真实性，能够更好地部署到自动驾驶框架之中。

图2HiVT-64和PBP对比(注:HiVT尽管精度比PBP高,但会出现①超出道路边界的不可能预测②不符合地图结构的预测③缺少模态)

总的来说，轨迹预测中两种方法的主要的优缺点总结如下：

表1.Anchor-based和anchor-free方法对比

那么为什么anchor-based方法能够输出更加真实、与地图兼容和全面的轨迹呢？接下来，我们将从anchor-based典型代表：PBP和MTR轨迹预测模型分析其中的奥秘。

PBP：有目标的轨迹预测

本文提出了一个名为Path-based Prediction方法，这一网络首先利用场景编码器提取智能体（如其他车辆）的历史位置和高精地图信息的特征向量。然后，候选路径采样器从地图的车道图中为每个代理生成一系列可能的参考路径。路径分类器进一步预测这些路径的概率分布。最后，轨迹回归器在Frenet路径坐标系中，针对每条参考路径预测代理的未来轨迹，这些轨迹随后转换回笛卡尔坐标系以获得多模态预测结果。与传统的目标驱动预测相比，PBP方法通过在整个参考路径上进行操作，而不是仅依赖于目标位置，从而提高了预测的准确性和地图适应性。

PBP框架的核心亮点在于候选轨迹和Frenet坐标系的应用。候选轨迹生成的目的是基于矢量地图和目标智能体的位置与行驶方向得到目标智能体的未来可能的所有轨迹。候选轨迹需要满足两个原则：其一是轨迹起点要在目标智能体足够接近，以保证不会出现状态跳变的现象，其二是候选轨迹必须沿着目标智能体的形式方向，其原因在于车辆在正常路面上倒车属于小概率事件。在满足这两个条件之后，便可以通过宽度优先算法进行搜索，得到多条候选轨迹。候选轨迹可以为轨迹解码器提供参考的先验信息使得输出的轨迹更倾向沿着车道中心线的方向，以此保证输出轨迹的地图适应性。

Frenet坐标系定义沿着参考轨迹前进方向为正方向，以车辆中心为原点，X表示沿着参考轨迹的曲线距离，Y代表与参考轨迹对应切线的最短距离。Frenet坐标系将轨迹预测问题从二维或三维笛卡尔空间转换为基于路径的一维纵向（s）和横向（d）坐标表示，简化了预测模型需要处理的数据维度。同时，由于车道中心线提供了一个自然的参考，轨迹预测的方差会降低，这有助于生成更加稳定和可靠，更加符合道路布局和交通规则的轨迹。

图3PBP模型框架

MTR：全局意图定位和局部运动细化的有机结合

在自动驾驶技术的前沿探索中，Motion Transformer（MTR）以其独特的全局意图定位和局部运动细化机制，为anchor-based轨迹预测树立了新的标杆。

1.全局意图定位

全局意图定位是MTR框架中的基石，它为后续的轨迹预测提供了宏观的方向性指导。这一步骤的核心在于确定交通参与者可能的宏观运动意图，这些意图通常与参与者的最终目的地或主要运动方向紧密相关。

通过引入静态意图查询（static intention queries），MTR巧妙地构建了一组代表性的意图点，每个点都对应着一个特定的运动模式。这些静态查询作为学习到的positional embeddings，能够生成特定于运动模式的初步轨迹。与传统的密集目标候选集相比，静态意图查询显著提高了训练过程的稳定性，并确保了模型能够更全面地覆盖所有潜在的未来行为。

全局意图定位的作用不仅在于缩小预测范围，使模型能够集中精力探索最有可能的轨迹，更在于为后续的局部运动细化提供了有力的基础。通过确定大致的运动方向和意图，模型能够在复杂的交通环境中保持清晰的思路，为更精细的预测奠定基础。

图4全局意图定位(注:引入静态意图点的目的:①每个意图点负责一个模态,保证预测模态全面②降低未来轨迹的不确定性③稳定训练过程)

2.局部运动细化

在全局意图定位之后，局部运动细化作为MTR框架的精细打磨环节，负责对预测的轨迹进行细粒度的调整和优化。这一步骤的核心在于捕捉并利用局部区域的具体信息，以提高预测的精度和可靠性。

动态搜索查询（dynamic searching queries）在这一过程中扮演了关键角色。它们被初始化为与静态意图查询相对应的位置嵌入，但能够根据预测的轨迹动态更新。这些动态查询像是一双双敏锐的眼睛，不断检索每个意图点周围的细粒度局部特征，使模型能够根据最新的局部上下文信息对预测轨迹进行微调。

局部运动细化的作用在于捕捉复杂的场景细节，如道路条件、交通信号、周围其他参与者的行为等。通过充分利用这些信息，模型能够生成更加符合实际场景的轨迹预测，从而提高自动驾驶系统的安全性和可靠性。

图5MTR局部运动细化

3.局部和全局的协同工作

全局意图定位和局部运动细化在MTR框架中并非孤立存在，而是紧密相连、协同工作的。全局意图定位提供了宏观的指导方向，为局部运动细化划定了探索范围；而局部运动细化则通过精细的调整和优化，确保了预测轨迹的准确性和可靠性。

这种分层次的处理方法不仅提高了轨迹预测的效率，还显著提升了预测的精度。在自动驾驶系统中，这样的预测能力对于车辆理解周围环境、规划安全路径以及做出快速响应至关重要。

图6MTR总体框架

总结

在轨迹预测领域，尽管近年来Anchor-free方法因其高准确性和灵活性在学术研究和排行榜上崭露头角，但Anchor-based方法依然占据着不可或缺的重要地位，特别是在工业界和实际应用中。本文深入探讨了Anchor-based与Anchor-free两种方法的优缺点，并通过分析PBP和MTR这两个典型的Anchor-based轨迹预测模型，揭示了Anchor-based方法为何能够输出更加真实、与地图兼容且全面的轨迹。

Anchor-based方法通过预设一系列基于先验知识或历史数据的锚点或路径作为参考，不仅缩小了预测空间，提高了预测效率，还使得预测结果更加符合实际交通规则和道路布局。例如，PBP模型通过候选路径采样器和Frenet坐标系的应用，确保了预测轨迹的地图适应性和真实性。而MTR模型则通过全局意图定位和局部运动细化的有机结合，进一步提升了预测的准确性和鲁棒性。

在工业界，轨迹预测的准确性并非唯一追求，更重要的是预测轨迹的实用性和可部署性。Anchor-based方法输出的轨迹更加真实，能够更好地与自动驾驶框架中的其他模块（如路径规划、控制等）协同工作，确保车辆在实际道路环境中的安全行驶。此外，Anchor-based方法还能够实现多模态预测，通过考虑不同的轨迹点或路径组合来应对智能体行为的不确定性，为自动驾驶系统提供更加全面的决策支持。

未来，随着技术的不断进步和需求的不断变化，Anchor-based与Anchor-free方法或将进一步融合创新，共同推动轨迹预测技术的发展。

一点小感悟

在参与轨迹预测小班课的过程中，Thomas和Paul老师的生动讲解不仅让我对技术细节有了更深入的理解，而且领悟到两个人生道理。首先，我深刻体会到了“预设与灵活性”的辩证关系。Anchor-based方法通过预设锚点或路径，为预测提供了稳定的框架，但这也要求我们在面对变化时保持足够的灵活性。人生亦是如此，我们需要设定目标，规划路径，但更要有应对突发情况、灵活调整策略的能力。正如在自动驾驶中，车辆需要根据实时路况和周围环境的变化来动态调整行驶轨迹，我们在人生道路上也需要根据环境和自身条件的变化，适时调整方向，保持前进的动力。其次，我认识到了“全面性与真实性”的重要性。Anchor-based方法能够输出更加全面、真实的轨迹，这得益于它对多种可能性的综合考虑和对实际环境的深刻理解。人生亦是如此，我们不仅要追求表面的成功和成就，更要注重内心的真实感受和价值观的塑造。只有全面审视自己的生活，真诚面对自己的内心，才能找到真正属于自己的道路，活出真实的自我。

参考文献

[1] Wang, Mingkun, Xiaoguang Ren, Ruochun Jin, Minglong Li, Xiaochuan Zhang, Changqian Yu, Mingxu Wang and Wenjing Yang. “FutureNet-LOF: Joint Trajectory Prediction and Lane Occupancy Field Prediction with Future Context Encoding.” ArXiv abs/2406.14422 (2024): n. pag.
[2] Tang, Xiaolong, Meina Kan, Shiguang Shan, Zhilong Ji, Jinfeng Bai and Xilin Chen. “HPNet: Dynamic Trajectory Forecasting with Historical Prediction Attention.” ArXiv abs/2404.06351 (2024): n. pag.
[3] Lan, Zhiqian, Yuxuan Jiang, Yao Mu, Chen Chen, Shen Li, Hang Zhao and Keqiang Li. “SEPT: Towards Efficient Scene Representation Learning for Motion Prediction.” ArXiv abs/2309.15289 (2023): n. pag.
[4] Z. Zhou, L. Ye, J. Wang, K. Wu and K. Lu, "HiVT: Hierarchical Vector Transformer for Multi-Agent Motion Prediction," 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 2022, pp. 8813-8823, doi: 10.1109/CVPR52688.2022.00862.
[5] Afshar, Sepideh, Nachiket Deo, Akshay Bhagat, Titas Chakraborty, Yunming Shao, Balarama Raju Buddharaju, Adwait Deshpande and Henggang Cui. “PBP: Path-based Trajectory Prediction for Autonomous Driving.” 2024 IEEE International Conference on Robotics and Automation (ICRA) (2023): 12927-12934.
[6] Zhao, Hang, Jiyang Gao, Tian Lan, Chen Sun, Benjamin Sapp, Balakrishnan Varadarajan, Yue Shen, Yi Shen, Yuning Chai, Cordelia Schmid, Congcong Li and Dragomir Anguelov. “TNT: Target-driveN Trajectory Prediction.” Conference on Robot Learning (2020).
[7] J. Gu, C. Sun and H. Zhao, "DenseTNT: End-to-end Trajectory Prediction from Dense Goal Sets," 2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 2021, pp. 15283-15292, doi: 10.1109/ICCV48922.2021.01502.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵