双目深度估计——视差到深度的两种推导方法

双目深度估计——视差到深度的两种推导方法

0. 基本假设

假设双目系统是标准形式，即：

• 两相机内参数相同，即焦距、分辨率等参数一致；
• 两相机光轴平行；
• 成像平面处于同一水平线；

假设以左相机坐标系为主坐标系，也就是说两相机只存在X轴方向上的平移变换。

1. 几何法（直观）

设上面的所有长度的单位为m

• 由上图标准双目立体系统俯视图所示，$O_L$、$O_R$分别为左右相机光心，$b$为两相机基线长度，$P$为空间中的一点，$P_L$、$P_R$分别为$P$在左右相机成像平面上的像点，$f$为相机的焦距。
• 由$△O_{L}AP\sim △O_{L}C{P}_L$和$△O_{R}BP\sim △O_{R}D{P}_R$可得：
  • $\frac{Z}{f}=\frac{PA}{x_L-x_C}=\frac{PB}{x_D-x_R}=\frac{PA+PB}{x_L-x_R+(x_D-x_C)}=\frac{b}{d+(x_D-x_C)}$进而得到：
  • $Z=\frac{bf}{d+(x_D-x_C)}$，由于两相机参数相等，因此$x_D-x_C=0$，故而有：
  • $Z=\frac{bf}{d}$

其中$d=x_L-x_R$为对应点的视差值

2. 相机参数推导法

由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有：

• 相机内参数：$K_L=K_R=K=\left[\begin{array}{ccc}{f}_x& \gamma & u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$；
• 相机外参数（以右相机到左相机为例）：$R_{R->L}=E$，$t_{R->L}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=\left[\begin{array}{c}b\\ 0\\ 0\end{array}\right]$
• 设：$P_{OL}$、$P_{OR}$、$P_L$、$P_R$的坐标分别为$P_{OL}=\left[\begin{array}{c}{X}_L\\ Y_L\\ Z_L\end{array}\right]$、$P_{OR}=\left[\begin{array}{c}{X}_R\\ Y_R\\ Z_R\end{array}\right]$、$P_L=\left[\begin{array}{c}{u}_L\\ v_L\\ 1\end{array}\right]$、$P_R=\left[\begin{array}{c}{u}_R\\ v_R\\ 1\end{array}\right]$；

$P_{OL},P_{OR}$为左右相机坐标系下的P点坐标，$P_L$和$P_R$为像素坐标，相机内外参详解请参考相机模型

根据小孔成像模型，有：

• $P_L=\left[\begin{array}{c}{u}_L\\ v_L\\ 1\end{array}\right]=K_L\frac{1}{Z_L}{P}_{OL}=K_L\frac{1}{Z_L}\left[\begin{array}{c}{X}_L\\ Y_L\\ Z_L\end{array}\right]$

• $P_R=\left[\begin{array}{c}{u}_R\\ v_R\\ 1\end{array}\right]=K_R\frac{1}{Z_R}{P}_{OR}=K_R\frac{1}{Z_R}\left[\begin{array}{c}{X}_R\\ Y_R\\ Z_R\end{array}\right]$

• $P_{OL}=R_{R->L}{P}_{OR}+t_{R->L}=E{P}_{OR}+t_{R->L}=P_{OR}+\left[\begin{array}{c}b\\ 0\\ 0\end{array}\right]$

联立上面三个等式可以得到：

• $P_L-P_R=\left[\begin{array}{c}{u}_L-u_R\\ v_L-v_R\\ 0\end{array}\right]=K\frac{1}{Z}\left[\begin{array}{c}b\\ 0\\ 0\end{array}\right]$

由左右相机成像平面在同一水平线上，那么v坐标相等，即$v_L-v_R=0$；

左右相机内参相等，都为$K=\left[\begin{array}{ccc}{f}_x& \gamma & u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$；

$Z_L=Z_R=Z$。

展开得：

• $\left[\begin{array}{c}{u}_L-u_R\\ 0\\ 0\end{array}\right]=\left[\begin{array}{ccc}{f}_x& \gamma & u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\frac{1}{Z}\left[\begin{array}{c}b\\ 0\\ 0\end{array}\right]=\left[\begin{array}{c}\frac{b{f}_x}{Z}\\ 0\\ 0\end{array}\right]$；
• 设$d=u_L-u_R$，有:
• $Z=\frac{b{f}_x}{d}$

注意，这里的单位并不一致，视差$d$的单位是像素，基线$b$的单位为m，$f_x$的单位为像素，请参考相机模型

3. 总结

几何法推导更加直观，可以帮助我们快速理解双目获取深度的原理；

相机参数推导法可以进一步加深我们对相机参数的理解，进一理解深度获取的本质问题。