【单目测距】结合目标检测与平面假设的单目摄像头测距方法

• 引言：
  单目摄像头由于其成本低廉，易于部署等特性，在降低自动驾驶传感器成本上有着天然优势。然而，三维世界坐标系下的物体成像在二维平面后，往往损失了深度信息。要复原三维世界中目标的深度信息，往往需要设定一些限制条件。
  本文通过平面假设，使得通过二维目标检测得到的目标像素坐标能逆投影得到目标在世界坐标系下的坐标。

---

1. kitti数据集中坐标系的介绍

图一.kitti数据集采集车各坐标系图示

kitti数据集采集车各传感器坐标如图一所示，所有传感器均采用右手坐标系，我们将用到Cam2摄像头，并将激光雷达(Velodyne laserscanner)坐标系设置为世界坐标系，由图一可知，激光雷达的安装高度为1.73m。

---

2.平面假设

我们假设车辆行驶在平坦的道路上，则道路上的障碍物将立足于同一平面，故这些障碍物的立足点在
世界坐标系下的Z坐标为定值，即$Z_{const}=-1.73$。

由【相机模型】相机投影关系我们知道世界坐标系中的点($[X_w,Y_w,Z_w{]}^T$)与像素坐标系下的点$[u,v,1{]}^T$的投影关系为：

$Z_C$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$=$\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$$\left[\begin{array}{cc}{R}_{3X3}& T_{3X1}\\ O& 1\end{array}\right]$$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_{const}\\ 1\end{array}\right]$=$\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]$$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_{const}\\ 1\end{array}\right]$

其中：

• $\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$ 为相机的内参矩阵，可通过标定得出；

• $\left[\begin{array}{cc}{R}_{3X3}& T_{3X1}\\ O& 1\end{array}\right]$为世界坐标系（本文为激光雷达坐标系）到相机坐标系的转换矩阵，可通过测量获得

• $[u,v,1{]}^T$为目标立足点在像素坐标系下的像素坐标，可通过目标检测算法得到

上述转换矩阵等价于：

$$\{\begin{array}{rlr}{Z}_{c}u& =& m_{11}{X}_w+m_{12}{Y}_w+m_{13}{Z}_{const}+m_{14}\\ Z_{c}v& =& m_{21}{X}_w+m_{22}{Y}_w+m_{23}{Z}_{const}+m_{24}\\ Z_c& =& m_{31}{X}_w+m_{32}{Y}_w+m_{33}{Z}_{const}+m_{34}\end{array}$$

三个未知数，三个方程，由此可解得$[X_w,Y_w{]}^T$。

---

3.效果展示