【CVPR2023 Best Paper】Planning-oriented Autonomous Driving 阅读笔记

Paper： https://openaccess.thecvf.com/content/CVPR2023/papers/Hu_Planning-Oriented_Autonomous_Driving_CVPR_2023_paper.pdf
Github： https://github.com/OpenDriveLab/UniAD#high
Youtube： https://www.youtube.com/watch?v=R4iuq3zDBL4
一篇写的比较详细的解读（文中部分参考）： https://zhuanlan.zhihu.com/p/632275644

CVPR2023的best paper，虽然不是第一个提出了end-to-end的网络框架。但是，已有的方法可能会遭受累积误差或任务间协同不足的困扰。 与之相反，作者认为应该设计和优化一个合适的框架来追求终极目标，即自动驾驶的planning任务。 针对这一点，作者从性能和safe planning安全性出发，确定要达到安全自动驾驶需要以下几部分，即detection+tracking、online Mapping、Motion Forecasting、Occupancy Prediction 和 Planning。并确定了任务的前后优先级，新框架称为UniAD。

网络设计

1、Backbone

文中用了BEVFormer来做环境感知信息的编码，作者也提出了这个结构设计方便替换出更先进的BEV encoders。

2、Perception

1）TrackFormer

TrackFormer的主要作用是实现对参与交通的实体目标进行跟随（如行人、骑行人员、车辆等）。
Tracking用的是MORT来做，将BEV的feature作为一种proposal信息输入到网络中，与历史的tracklets一起编码，这个思路有点像MOTR v2。

2）MapFormer

MapFormer采用了语义分割的方式（Panoptic Segformer）来实现对场景中其他元素的识别，如车道、分隔线和交叉路口。
MapFormer将可行驶的道路区域设置为stuff，监督了每一层的输出，并将最后一层中的结果送入下一个网络中。

3、Prediction

1）MotionFormer

MotionFormer的作用是预测参与交通的实例物体运动轨迹。
文中对场景和实例的信息进行编码（PE为正弦位置编码，之后用MLP网络进行编码），获得当前的query位置信息。之后这些信息与前置网络的输出一起进行inference，获得目标的运动预测。

此外，考虑到预测不确定性会带来的一些不符合物理学的突变情况，文中用了非线性平滑的方式进行了运动约束，防止对下游任务造成较大影响。

2）OccFormer

OccFormer的作用是预测BEV特征下所划分的单元格是否被占用，以及其未来的变化情况。

OccFormer，在两个方面合并了场景级和agent级的语义：（1）在展开到未来范围时，通过精心设计的注意力模块，稠密场景特征获取agent级特征信息;（2）通过agent级特征和稠密场景特征之间的矩阵乘法轻松生成逐实例occupancy，而无需进行繁重的后期处理。

4、Planning

UniAD 的训练分为两个阶段。首先联合训练感知部分，即tracking和mapping模块，训练若干个epochs（在作者的实验中是 6 个），然后使用所有的perception、prediction和planning模块一起端到端地训练20个epochs。从经验上来说，两个阶段的训练会更加稳定。