从MultiPath到WayFormer

Waymo轨迹预测时间线

MutltiPath 2019
MultiPath++ 2021
WayFormer 2022

MultiPath

模型结构

## Methods

Before training: trajectory approxiamtion

在训练之前，采用K-means聚类获得K条轨迹
因为：（1）该论文采用了anchor-based方案，在训练时需要有初始轨迹簇。（2）直接从大量的轨迹簇中获取，容易导致模态坍塌directly learning a mixture suffers from issues of mode collapse；（3）在其他领域（目标识别和人体位姿估计）中已有先验锚点的案列it’s common practice in other domains such as object detection [23] and human pose estimation。

During training

将场景信息光栅化得到rasterization image，然后进行卷积，得到一张feature map；
针对每一个障碍物进行crop，得到局部的feature map；
针对每一个障碍物，确定和真实轨迹最近的anchor，计算基于该anchor回归出的轨迹的loss。

loss是如何设计的

loss只监督和真值最近的那条anchor轨迹的参数，由两部分构成

1. 和真值最近的那条轨迹的概率
2. 那条轨迹在对应均值和方差下预测的轨迹点的概率密度
   以上加起来，取对数似然。

输出是什么

假设预测30步，一共有16条anchor轨迹，那么需要预测

1. 16:16条轨迹的概率
2. 16x30x2 = 960：16条轨迹，每条轨迹的轨迹点要预测其均值和方差

结果

MultiPath++

MultiPath有什么问题？

1. 难以平衡光栅化图像的大小、精度和对应的算力需求，uneasy trade-off；
2. 光栅化渲染的过程造成了信息丢失，如radial velocity；
3. 固定anchor无法表征足够表征多元的场景 most modes are not a good fit
4. 卷积适合于局部特征提取，难以提取长距离的信息，难以保证交互；
5. 场景信息稀疏，造成算力浪费，information is spatially sparse。

如何优化

1. 用RNN取代CNN，建模车道线、车辆历史轨迹等序列化信息
2. 用MCG进行交互
3. anchor隐式表征（latent representations of anchors）取代固定anchor
4. 采用集成学习方法，对输出轨迹簇进行聚类

模型结构

Druing training: learned anchor embeddings

之前采用固定的显式的锚点轨迹簇，现在采用M个向量作为可训练的参数，和上游concat完的特征进行交互，从而后续解析得到轨迹簇。

WayFormer

模型结构