双目测距理论

需要进一步修改

转载：http://blog.csdn.net/u013832707/article/details/53781810

双目测距理论

相机成像中的坐标系

三维估计

实际场景中物体的三维坐标可以通过双目立体视觉技术来确定。如下图是双目立体视觉原理图，OL和OR是左右相机的光心，它们的光轴和各自的成像平面如图所示。假设两相机的内部和外部参数完全相同，焦距为f，光心之间的距离（基线）为B，两台相机在同一平面上，机他们的投影中心的Y坐标相等。同一时刻空间点p(x,y,z)在两相机上成像点分别为Pleft和Pright。

由三角几何关系有：

这个公式重在搞懂各个变量所在的坐标系。其中Xleft和Xright分别在左、右相机的图像平面下讨论；也就是说它们的坐标系在各自的图像平面坐标系下的坐标，原点分别为各自光轴与像平面的交点。而f和B是常值，Ｙ也是在图像坐标系下讨论，但是是相同的。x，y，z则是在左相机坐标系下讨论，原点为ＯＬ。有了以上基础，就可以理解公式了。另外视差Ｄ的理解也非常重要，Ｄ就是Xleft-Xright。还记得Xleft和Xright的含义吗，能理解D吗？D不是图上Pleft与Pright的距离，就是Xleft-Xright，就是Xleft-Xright。重要的事情说三遍。这应该能理解视差D是什么了，那么有上式可得

立体匹配

    这是一个很大的题目，网上的资料也很多，所以我想说的是我的一些理解。

       这里最好的方法是从后往前说，我们首先需要理解测距的原理。这个很多人看了一大堆还不明白（其实只有我自己吧..），相似三角形测距，这种东西小学生都能搞清楚，但两摄像头到底怎么做到的，就是我们需要搞清楚的。

      首先需要搞清楚一个非常重要的概念，视差，搞清楚视差，后面的就简单了 ，老生常谈的问题我不想多说，网上那些一大堆，我希望给大家的是一些明了的东西

           

           

           

       这三幅图看明白了就行，其实视差确实很简单，但很多人都没去理清楚，第一幅图是三维世界的一个点在两个相机的成像，我们可以相信的是，这两个在各自相机的相对位置基本不可能是一样的，而这种位置的差别，也正是我们眼睛区别3D和2D的关键，将右边的摄像机投影到左边，怎么做呢？因为他的坐标和左边相机的左边相距Tx（标定测出来的外参数），所以它相当于在左边的相机对三维世界内的（x-tx,y,z）进行投影，所以这时候，一个完美的形似三角形就出来，这里视差就是d=x-x‘，

                  

              得到视差以后，再用相似三角形……也就得到了深度也就是距离啦。

双目匹配

双目测距实际操作分4个步骤：相机标定——双目校正——双目匹配——计算深度信息。

相机标定：摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。单个摄像头的定标主要是计算出摄像头的内参（焦距f和成像原点cx,cy、五个畸变参数（一般只需要计算出k1,k2,p1,p2，对于鱼眼镜头等径向畸变特别大的才需要计算k3））以及外参（标定物的世界坐标）。而双目摄像头定标不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置（即右摄像头相对于左摄像头的旋转矩阵R、平移向量t）。

双目校正：双目校正是根据摄像头定标后获得的单目内参数据（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致（CV_CALIB_ZERO_DISPARITY标志位设置时发生作用）、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

双目匹配：双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来，这样做的目的是为了得到视差图。双目匹配被普遍认为是立体视觉中最困难也是最关键的问题。得到视差数据，通过上述原理中的公式就可以很容易的计算出深度信息。