【Motion Forecasting】【摘要阅读】HPNet: Dynamic Trajectory Forecasting with Historical Prediction Attention

HPNet: Dynamic Trajectory Forecasting with Historical Prediction Attention

这项工作来自于中科院计算所，发布于2024年的CVPR，在Argoverse Motion Forecasting v1.1数据集以及INTERACTION数据集上达到了2024年的SOTA。

Abstract

对于自动驾驶系统来说，对道路上代理的未来轨迹进行预测是一项重要任务。近年来解决自动驾驶运动预测任务的主流方法均采用静态的设置，这些方法在对代理的未来轨迹进行预测时，均使用固定长度的历史观测数据。这些方法使得预测得到的结果即使是在相邻的时刻之间也是相互独立的，为模型带来了潜在的不稳定性以及时序不一致性。

由于相继的时刻具有大量重叠的历史观测，相继时刻预测得到的结果应该具有内在的关联，比如在时间上重叠的预测轨迹应该是一致的，或是在具有相同运动终点目标的前提下根据道路的具体状况而稍有不同。

受上述观点的启发，本文提出了HPNet，它是一种新颖的自动驾驶轨迹预测方法。为了使得轨迹预测的结果更加的稳定和准确，本文方法在对未来轨迹进行预测时，不仅使用了包含地图和代理状态的历史观测信息，还使用了历史的预测结果来进行轨迹预测。

具体来说，本文方法新设计了一种历史预测注意力模块（Historical Prediction Attention module，HP Attention）来自动地对相继时刻预测之间的动态关联进行编码。此外，历史预测注意力模块通过历史预测的结果将注意力计算的范围拓展到了当前可见的窗口之外。

本文提出的历史观测注意力模块将会与代理注意力（Agent Attention）和模式注意力（Mode Attention）一并合为三次分解注意力模块（Triple Factorized Attention module），该模块是HPNet的核心。

在Argoverse和INTERACTION数据集上的的运动预测结果表明，HPNet达到了SOTA水准的精度，并且可以生成准确和稳定的未来轨迹。

这项工作的代码是开源的，详情可见原文相应链接。

【精简版：HPNet要解决的问题听起来很像是DCMS中双一致约束的时间一致性约束，即前后相继的时刻模型所做出的轨迹预测结果应该是相似的，HPNet更进一步，在模型的设计上完成了时间一致性约束的设计，即使用Historical Prediction Attention module来将注意力拓展到历史预测得到的轨迹上。】

Conclusion

本文提出了一种新颖的动态轨迹预测方法，即HPNet。在HPNet当中设计了一个历史预测注意力模块，来对连续预测之间的动态关联进行建模。历史预测注意力模块使用historical prediction embeddings来辅助当前时刻的轨迹预测，使得轨迹的预测结果更加准确和稳定。

在Argoverse Motion Forecasting v1.1和INTERACTION数据集上的实验结果表明，本文提出的HPNet达到了SOTA水准的精度，证明了本文提出的Historical Prediction Attention可以提高模型的精度和稳定性。

【总结：从Figure 1大概可以看出，HPNet与过去方法中所使用的Static Paradigm最大的不同之处在于，$-t$时刻做出的预测将会辅助$-t+1$及其之前时刻的预测，感觉非常像是时间顺序上进行了dense connection。以Figure 2当中的Overview来说，在模型的设计上，编码器部分HPNet与QCNet非常类似，但是在场景编码的阶段，HPNet便使用了mode queries，而QCNet是在解码阶段才开始使用mode queries。Mode queries通过注意力机制与场景信息进行融合，之后便使用摘要当中所提到的三次分解注意力，首先使用mode queries得到初步的轨迹预测结果，对结果编码得到prediction embeddings，再将prediction embeddings与代理、历史预测和模式通过注意力机制进行融合，得到的结果将重新作为mode queries再一次进行上述流程，这一部分与QCNet中进行recurrent proposal prediction非常相似。最后使用mode queries得到多模态的轨迹预测结果。】