自动驾驶轨迹预测笔记

Oxalate-c

已于 2023-09-02 22:13:47 修改

阅读量692

点赞数 3

文章标签：自动驾驶笔记人工智能

于 2023-08-29 22:24:04 首次发布

本文链接：https://blog.csdn.net/BIT_csy/article/details/132571213

版权

这篇文章讲的不错，预测的各个方面都提到了，包括方法、指标、困境：

几篇关键的工作解读一下：

1. LaneCGN

Learning Lane Graph Representations for Motion Forecasting, Uber 2020

论文：https://arxiv.org/pdf/2007.13732.pdf?utm_source

代码：https://github.com/uber-research/LaneGCN

自动驾驶运动预测-Uber LaneGCN模型-腾讯云开发者社区-腾讯云

详细解读：2007-Learning Lane Graph Representations - 知乎

重点：使用graph的方式来建模map，ActorNet提取障碍物特征，然后用A2L, L2L, A2A等方式融合不同特征信息。相比于传统的渲染图的形式，这种网络更轻便，建模更直接，效果更好；相比于VectorNet这种，建模更有针对性。

2. VectorNet

VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation，Waymo 2020

论文：https://openaccess.thecvf.com/content_CVPR_2020/papers/Gao_VectorNet_Encoding_HD_Maps_and_Agent_Dynamics_From_Vectorized_Representation_CVPR_2020_paper.pdf

代码（非官方）：https://github.com/Henry1iu/TNT-Trajectory-Prediction 网友尝试复现了VectorNet，整体是用GNN的方式复现的，代码稍微写的有点乱。在DenseTNT的官方代码里，Encoder部分基本上使用Attention的方式实现的，当然本质上来说是相似的，不过官方代码的写法要清晰一点。

详细解读：自动驾驶运动预测-VectorNet论文复现(一)-腾讯云开发者社区-腾讯云（有详细的数据结构的组织说明）

重点：VectorNet，TNT，DenseTNT是赵行老师的三部曲。VectorNet主要解决的是Encoder部分的设计问题。与LaneGCN类似，也是用了矢量化的环境表达，区别在于这里整体统一了地图和障碍物的部分，均用矢量化的信息进行表达。

其中，subgraph的实现：

3. TNT

TNT: Target-driveN Trajectory Prediction, Waymo 2020

论文：https://proceedings.mlr.press/v155/zhao21b/zhao21b.pdf

详细解读：轨迹预测模型之——TNT - 知乎

重点：（1）这是基于anchor based思想的预测工作，是基于VectorNet的Encoder，在Decoder上的提高版。对于以前的轨迹预测，通常就是几个MLP、GRU直接decode轨迹出来，这种方式其实轨迹的末端是控制不好的。但是我们考虑实际的轨迹预测过程，要以终为始来看问题，一般是先确定目标点（goal，target）点，再确定轨迹，所以TNT利用了这种思想。（2）几个关键的步骤：VectorNet类的环境编码、基于拓扑采样候选的锚点（anchor）、基于这些anchor得到候选点target（以offset和score来表示）、筛选topM个target点、基于target点来补全轨迹、基于补全的轨迹簇再打分得到topK轨迹。（3）整个预测过程阶段很多，因此需要teacher force的训练。（4）整体思路是通过确定候选点 + 选择最优的方式来得到结果，比纯生成式的轨迹要更可控一些。

4. DenseTNT

DenseTNT: End-to-end Trajectory Prediction from Dense Goal Sets，清华 2021

论文：https://openaccess.thecvf.com/content/ICCV2021/papers/Gu_DenseTNT_End-to-End_Trajectory_Prediction_From_Dense_Goal_Sets_ICCV_2021_paper.pdf

代码（官方）：https://github.com/Tsinghua-MARS-Lab/DenseTNT 代码应该是涵盖了VectorNet、TNT、DenseTNT的内容，也囊括了LaneGCN的简单实现，不过整体都是基于Attention来实现的。

详细解读：【轨迹预测系列】【笔记】DenseTNT:End-to-end Trajectory Prediction from Dense Goal Sets - 知乎

重点：本工作是TNT的再升级版，看上去有点花哨了，从实用的角度应该TNT就够了。主要步骤：（1）VectorNet的backbone。（2）因为要dense的去撒点（基于道路中心线以固定间隔取点 + offset），为了降低算力消耗，先做LaneScore，筛掉得分低的车道。（3）计算每个denseGoal的概率，因为goal是非常稠密的，所以作者认为是得到了goal probablity distribution。（4）稠密Goal点的问题来了，就是如何选择最后合适的Goal保留下来？需要有代表性来保持预测的多模性，又要概率足够高。所以作者搞了一个Goal set predictor，这个是用优化的方法做监督去学的。（5）Trajectory Completion，这个和TNT类似。综上，整体把Goal点搞密，带来了一些多余的问题，在训练和推理阶段都显得有点过于麻烦了。

5. HOME

HOME: Heatmap Output for future Motion Estimation，Huawei 2021

论文：https://arxiv.org/pdf/2105.10968.pdf

详细解读：【论文阅读】HOME: Heatmap Output for future Motion Estimation Thomas - 知乎

重点：这篇文章Encoder部分还是用的偏老的rasterized的形式，输入部分与之对应的用了heatmap。对于预测任务而言，heatmap的存在其实能更好地表征不确定性，但是其难点和denseTNT类似，如何通过heatmap来得到质量较高地轨迹。这篇文章里设计了针对Missrate和FDE的采样方式，来平衡这些指标。

6. SceneTransformer

Scene Transformer: A Unified Architecture for Predicting Multiple Agent Trajectories, Waymo 2022

论文：https://arxiv.org/pdf/2106.08417.pdf

详细解读：【论文阅读】ICLR 2022: Scene Transformer: A unified architecture for predicting future trajectories ... - 知乎

重点：（1）sceneTransformer的重要意义在于，从本文开始，真的是从整个场景的角度去建模、预测和与决策，所有障碍物的信息统一考虑到系统中。下图中的输入信息的组织方式，就支持了各类工作：如goal-free的marginal的预测、conditional的预测、goal-based的预测。（2）大多数的数据集还是marginal的，conditional的预测还是看的Waymo自己的比赛：Interaction Prediction challenge in WOMD。