【Motion Forecasting】【摘要阅读】MacFormer：Map-Agent Coupled Transformer

MacFormer: Map-Agent Coupled Transformer for Real-time and Robust Trajectory Prediction

这项工作发布于2023年的IEEE Robotics And Automation Letters，来自于中山大学。

Abstract

对代理的未来运动进行预测是自动驾驶领域的一项重要任务。准确地代理未来轨迹预测依赖于对周围地图环境的全面理解，它对代理的运动有着强大的约束作用。然而，现有的方法对地图信息的使用是不充分的，而过度依赖于代理的历史运动信息，使得未来轨迹的预测结果精度较差并且缺少鲁棒性。此外，现有方法大多使用了较为繁重的网络设计，使得模型在真实场景当中的部署难以满足实时性要求。

为了解决上述问题，本文提出了Map-Agent Coupled Transformer（MacFormer，地图-代理耦合的Transformer），来进行实时且鲁棒的未来轨迹预测。本文提出的框架显式地通过两个精心设计的模块来将地图约束融入到网络当中，分别是耦合地图（coupled map）和参考帧提取器（reference extractor）。本文方法还使用了一种新颖的多任务优化策略来提高模型对道路拓扑以及规则约束的学习。本文方法还在上下文信息融合阶段设计了一种双向问询机制（bilateral query scheme），确保本文提出的方法是高效且轻量的。

本文方法在Argoverse 1、Argoverse 2以及nuScenes数据集上进行了实验，实验结果表明，本文方法可以在上述数据集上取得SOTA水准的结果，并且该方法的推理时延和模型参数量都更低。

实验结果还表明本文提出的框架对于较差的输入仍具有鲁棒性。

此外，作者还表明，通过将本文方法与现有方法相结合，现有方法的精度同样得到了提高，进一步证明了本文方法的有效性。

【从摘要看下来，MacFormer同样是一项关注于地图信息充分使用的工作，它显式地将地图信息与代理的历史运动轨迹进行了耦合。值得关注的是，MacFormer在Argoverse 1/2以及nuScenes三项大规模轨迹预测数据集上取得了SOTA水准的结果，这是相当不容易的，但是从文章的整体阅读来说，MacFormer设计了coupled map、reference extractor、MTOS以及bilateral query scheme等多种创新，而缺少一个能够使模型预测精度发生质变的高度总结】

Conclusion

本文提出了一种实时性好且鲁棒的轨迹预测框架，它可以高效地将地图约束与模型相结合。

本文方法直接将地图信息与代理历史运动轨迹相融合，并使用与地图相关的参考帧对代理的未来轨迹进行预测，上述两项任务分别使用耦合地图（coupled map）和参考帧提取器（reference extractor）来完成。

为了提高地图约束的学习效率，本文方法提出了一种多任务优化策略（MTOS）。同时，本文方法设计了一种双向查询机制来增强上下文特征融合的效率。

实验结果表明，MacFormer在Argoverse 1和2数据集以及nuScenes数据集上取得了SOTA水准的结果。

MacFormer的推理速度较低，模型参数量较少，适用于真实场景的部署。实验结果同样证明本文框架具有较强的鲁棒性。