bestrivern的博客

一.introduction 目前的计算机视觉算法任务，基于输出结果是否与输入图像在同一个参考系下，可以分为两类： • 预测结果与输入不在同一个参考系：分类 • 预测结果与输入在同一个参考系：目标检测、语义分割、全景分割 从这个角度来看，基于BEV的自动驾驶感知算法，属于前一个类别，即预测结果与输入不在同一个参考系，这个最终得到的BEV结果属于本体车辆参考系。一般的做法是，通过算法模型，把属于多个参考系下的多模态数据，进行融合预测，形成在BEV参考系下的预测结果，如下图所示。 那么，多参考

A Sim2Real Deep Learning Approach for theTransformation of Images from Multiple Vehicle-Mounted Cam

Motivation 在前视图上做2D图像的分割技术很成熟，但是2D的图像空间不适用于复杂的工业级场景。为什么这么说呢，有两方面原因，一方面是下游的任务例如PNC更需要BEV视角的检测结果，有些方法将前视图上的车道线分割结果通过相机内外参变换到BEV空间，有些则更优雅的通过相机内外参将前视图的特征变换到BEV空间的特征，但这样的话BEV的特征强依赖于前视图的特征，会受到前视图中遮挡，scale变换的很大的影响。另一方面，我们应该要考虑车道线本身的height，这个height定义为车道线在BEV 3.

Introduction 现在很多BEV的工作都是怎么做的呢，有如下几种方式： 传统方法。在iamge空间做分割，然后将它变换到BEV空间，通过IPM变换，这种方法依赖与精准的内参和外参。这种方法是基于当前情况做的视角变换，当出现遮挡或者远距离的时候就会不准 深度学习的方法，lift-splat-shoot[1]通过诸逐像素点的深度估计完成image视角到BEV视角的变换，但使用深度估计增加了view变换过程的复杂性，故而一些方法[2]和[3]通过MLP和FC层本来学习这种image空间到BEV空间的