Motivation
在前视图上做2D图像的分割技术很成熟,但是2D的图像空间不适用于复杂的工业级场景。为什么这么说呢,有两方面原因,一方面是下游的任务例如PNC更需要BEV视角的检测结果,有些方法将前视图上的车道线分割结果通过相机内外参变换到BEV空间,有些则更优雅的通过相机内外参将前视图的特征变换到BEV空间的特征,但这样的话BEV的特征强依赖于前视图的特征,会受到前视图中遮挡,scale变换的很大的影响。另一方面,我们应该要考虑车道线本身的height,这个height定义为车道线在BEV 3D空间中,在主车坐标系中相对于0点的z坐标。因为假如在上坡或者下坡过程中,如果不考虑路面高度的变化,那么车道线将会相交或者发散,这会影响pnc的决策。之前的方法都是认为在BEV空间中车道线都是位于平摊的路面上,即其高度为0。上图中的b就是说在一些复杂的场景中,简单的直接将feature做ipm变换到bev空间,效果并不是很好。
Methods
pipeline
与detr的区别,这里的bev query不会隐式更新,而是其上的位置是通过相机的内外参数具有明确物理位置含义的。