参考:https://towardsdatascience.com/monocular-birds-eye-view-semantic-segmentation-for-autonomous-driving-ee2f771afb59
有源传感器(lidar or radar)得到的数据,天然就是一种bev表示(x-y平面);
如何利用环视图像可以得到bev?
2D图像本质上是3D空间在2D平面上的投影,如果反过来得到bev表示是一个 inherently ill-posed problem。
这其中会有一些先验,可以简单分为硬先验和软先验;
硬先验
- 相机内参,外参
软先验
- 道路的布局等
- 在BEV下,汽车之间不存在重叠等
为了解决这个问题,传统上一个常见的做法是IPM(inverse perspective mapping,逆透视映射),但这个方法会依赖这些假设:1. 固定的相加外参;2. 地平面平坦假设。
但是当相机外参变化时,或者非平坦表面或崎岖不平的道路,该方法就逐渐失效了。
IPM也是一个研究方向,实际做IPM可以加一些直线约束。IPM变化的一个例子如下: