双目测距原理

通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量，而无需判断前方出现的是什么类型的障碍物。所以对于任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。

上图中的人和椰子树，人在前，椰子树在后，最下方是双目相机中的成像。其中，右侧相机成像中人在树的左侧，左侧相机成像中人在树的右侧，这是因为双目的角度不一样。再通过对比两幅图像就可以知道人眼观察树的时候视差小，而观察人时视差大。因为树的距离远，人的距离近。这就是双目三角测距的原理。双目系统对目标物体距离感知是一种绝对的测量，而非估算。上图中，人在b)图的左右视图中位移大，而树的位移小，说明人离相机近而树离相机远，至于有多远，可以计算出来。

视差，通俗地讲，就是上面b)中左右两幅图中，人在左图中的位置（相对于左图坐标系）与人在右图中的位置（相对于右图坐标系）的差，这里只有x轴上的差，也就是说，人在两幅图的坐标系上发生了横向移动，两个图的坐标系分别以各自的左下角为基准对齐，也就是像b)所示，把两个图片合并到一起进行比对，其实就相当于把坐标系统一了。

理想双目相机成像模型

上述OL和OR是两个镜头的中心，Pleft和Pright是物体P在成像平面的映射点。 

根据三角形相似定律：（和分别是在成像平面上P的成像点到两个镜头光轴在成像屏幕的投影点的距离，上图中X轴代表了成像平面，而L和R分别是两个镜头的中心，对应的横向箭头表示两个光轴，z就表示物体到baseLine的距离，baseline是两个镜头中心所在的连线）

                            （1）

由式（1），解方程得：

        （2）

             z=b*f/d, x=z*xl/d, y=z*y/f                         （3）

根据上述推导，要求得空间点P离相机的距离（深度）z，必须知道：
1、相机焦距f，左右相机基线b（可以通过先验信息或者相机标定得到）。
2、视差 ：，即左相机像素点(xl, yl)和右相机中对应点(xr, yr)的关系，这是双目视觉的核心问题。

重点来看一下视差（disparity），视差是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮；

        P为空间中的点，P1和P2是点P在左右像平面上的成像点，f是焦距，OR和OT是左右相机的光心。由下图可见左右两个相机的光轴是平行的。XR和XT是两个成像点在左右两个像面上距离图像左边缘的距离。

 

     若两个相机已经校正完成即达到极线平行，两条光轴方向也平行。则视差和物体深度的关系式如下：

                          (1)

可推导到：
                   (2)

       证明过程：
       已知：

         

       由相似三角形原理：

          

     （3）+（4）有：

 (5)

       其中b1可以用b、XR和XT表示。

       可得（5）式变为（1）式：。证毕。

 

 由上面两幅图，可知距离像面越近的点，它在左右相机中的视差越大，距离像面越远的点，它在左右相机中的视差越小。

深度Z和视差的关系图如下：