双目深度估计——视差到深度的两种推导方法

jiayuzhang128

已于 2023-03-16 23:00:41 修改

阅读量9.5k

点赞数 17

分类专栏：双目立体视觉

于 2022-04-06 10:37:18 首次发布

本文链接：https://blog.csdn.net/qq_40918859/article/details/123984329

版权

双目视觉深度估计几何法相机参数视差

关键词由CSDN通过智能技术生成

双目立体视觉专栏收录该内容

8 篇文章

订阅专栏

双目深度估计——视差到深度的两种推导方法

文章目录

双目深度估计——视差到深度的两种推导方法

0. 基本假设

假设双目系统是标准形式，即：

两相机内参数相同，即焦距、分辨率等参数一致；
两相机光轴平行；
成像平面处于同一水平线；

假设以左相机坐标系为主坐标系，也就是说两相机只存在X轴方向上的平移变换。

1. 几何法（直观）

Stereodis2depth

设上面的所有长度的单位为m

由上图标准双目立体系统俯视图所示， $O_{L}$ 、 $O_{R}$ 分别为左右相机光心， $b$ 为两相机基线长度， $P$ 为空间中的一点， $P_{L}$ 、 $P_{R}$ 分别为 $P$ 在左右相机成像平面上的像点， $f$ 为相机的焦距。
由 $\bigtriangleup O_{L}AP \sim \bigtriangleup O_{L}CP_{L}$ 和 $\bigtriangleup O_{R}BP \sim \bigtriangleup O_{R}DP_{R}$ 可得：
- $\frac{Z}{f}=\frac{PA}{x_{L}-x_{C}}=\frac{PB}{x_{D}-x_{R}}=\frac{PA+PB}{x_{L}-x_{R}+(x_{D}-x_{C})}=\frac{b}{d+(x_{D}-x_{C})}$ 进而得到：
- $Z=\frac{bf}{d+(x_{D}-x_{C})}$ ，由于两相机参数相等，因此 $x_{D}-x_{C}=0$ ，故而有：
- $Z=\frac{bf}{d}$

其中 $d=x_{L}-x_{R}$ 为对应点的视差值

2. 相机参数推导法

由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有：

相机内参数： $K_{L}=K_{R}=K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix}$ ；
相机外参数（以右相机到左相机为例）： $R_{R->L}=E$ ， $t_{R->L}=\begin{bmatrix} t_{x}\\t_{y}\\t_{z}\end{bmatrix}=\begin{bmatrix} b\\0\\0\end{bmatrix}$
设： $P_{OL}$ 、 $P_{OR}$ 、 $P_{L}$ 、 $P_{R}$ 的坐标分别为 $P_{OL}=\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix}$ 、 $P_{OR}=\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix}$ 、 $P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix}$ 、 $P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix}$ ；

$P_{OL},P_{OR}$ 为左右相机坐标系下的P点坐标， $P_{L}$ 和 $P_{R}$ 为像素坐标，相机内外参详解请参考相机模型

根据小孔成像模型，有：

$P_{L}=\begin{bmatrix} u_{L}\\v_{L}\\1\end{bmatrix}=K_{L}\frac{1}{Z_{L}}P_{OL}=K_{L}\frac{1}{Z_{L}}\begin{bmatrix} X_{L}\\Y_{L}\\Z_{L}\end{bmatrix}$
$P_{R}=\begin{bmatrix} u_{R}\\v_{R}\\1\end{bmatrix}=K_{R}\frac{1}{Z_{R}}P_{OR}=K_{R}\frac{1}{Z_{R}}\begin{bmatrix} X_{R}\\Y_{R}\\Z_{R}\end{bmatrix}$
$P_{OL}=R_{R->L}P_{OR}+t_{R->L}=EP_{OR}+t_{R->L}=P_{OR}+\begin{bmatrix} b\\0\\0\end{bmatrix}$

联立上面三个等式可以得到：

$P_{L}-P_{R}=\begin{bmatrix} u_{L}-u_{R}\\v_{L}-v_{R}\\0\end{bmatrix}=K\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix}$

由左右相机成像平面在同一水平线上，那么v坐标相等，即 $v_{L}-v_{R}=0$ ；

左右相机内参相等，都为 $K=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix}$ ；

$Z_{L}=Z_{R}=Z$ 。

展开得：

$\begin{bmatrix} u_{L}-u_{R}\\0\\0\end{bmatrix}=\begin{bmatrix} f_{x}&\gamma&u_{0}\\0&f_{y}&v_{0}\\0&0&1\end{bmatrix}\frac{1}{Z}\begin{bmatrix} b\\0\\0\end{bmatrix}=\begin{bmatrix} \frac{bf_{x}}{Z}\\0\\0\end{bmatrix}$ ；
设 $d=u_{L}-u_{R}$ ，有:
$Z=\frac{bf_{x}}{d}$