双目立体标定

一.概述

• 双目摄像机需要标定的参数：摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵（其中摄像机内参数矩阵和畸变系数矩阵可以通过单目标定的方法标定出来）
• 双目摄像机标定和单目摄像机标定最主要的区别就是双目摄像机需要标定出左右摄像机坐标系之间的相对关系
• 我们用旋转矩阵R和平移矩阵T来描述左右两个摄像机坐标系的相对关系，具体为：将左摄像机下的坐标转换到右摄像机下的坐标。

二.原理及计算

假设空间中有一点P，其在世界坐标系下的坐标为，其在左右摄像机坐标系下的坐标可以表示为： 

                                                                       

                                                                       

其中和又有如下关系：

                                                                        

注：双目摄像机分析中往往以左摄像机为主坐标系，但是R和T却是左相机向右相机转换，所以Tx为负数

综合上式，可以推得： 

                                                                         

                                                                         

,为左摄像头经过单目标定得到的相对标定物的旋转矩阵和平移向量，,为右摄像头经过单目标定得到的相对标定物的旋转矩阵和平移向量 
左右相机分别进行单目标定，就可以分别得到，，，带入上式就可以求出左右相机之间的旋转矩阵R和平移T。

求得的R和T就是立体标定要得到的结果。

单目摄像机需要标定的参数，双目都需要标定，双目摄像机比单目摄像机多标定的参数：R和T，主要是描述两个摄像机相对位置关系的参数，这些参数在立体校正和对极几何中用处很大

三.立体矫正

在介绍立体校正的具体方法之前，让我们来看一下，为什么要进行立体校正？

双目摄像机系统主要的任务就是测距，而视差求距离公式是在双目系统处于理想情况下推导的，但是在现实的双目立体视觉系统中，是不存在完全的共面行对准的两个摄像机图像平面的。所以我们要进行立体校正。立体校正的目的就是，把实际中非共面行对准的两幅图像，校正成共面行对准。（共面行对准：两摄像机图像平面在同一平面上，且同一点投影到两个摄像机图像平面时，应该在两个像素坐标系的同一行）,将实际的双目系统校正为理想的双目系统。

理想双目系统：两摄像机图像平面平行，光轴和图像平面垂直，极点处于无线远处，此时点(x0,y0)对应的级线就是y=y0

立体矫正前：

立体校正后： 

 

也可以用一张图显示

                                  

 Bouguet校正原理

校正前的左右相机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。

校正后，极点在无穷远处，两个相机的光轴平行。像点在左右图像上的高度一致。这也就是极线校正的目标。校正后做后续的立体匹配时，只需在同一行上搜索左右像平面的匹配点即可，能使效率大大提高。

Bouguet的方法，是将OPencv求解出来的旋转和平移矩阵分解成左右相机各旋转一半的旋转和平移矩阵R1,T1与R2,T2。分解的原则是使得，左右图像重投影造成的畸变最小，左右视图的共同面积最大。

Bouguet的方法的主要步骤

1、将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，叫做左右相机的合成旋转矩阵。

 

             

 

2、将左右相机各旋转一半，使得左右相机的光轴平行。此时左右相机的成像面达到平行，但是基线与成像平面不平行。

3、构造变换矩阵Rrect使得基线与成像平面平行。构造的方法是通过右相机相对于左相机的偏移矩阵T完成的。

（1）构造e1。变换矩阵将左视图的极点变换到无穷远处，则使极线达到水平，可见，左右相机的投影中心之间的平移向量就是左极点方向：

                                                                            

 

（2) e2方向与主光轴方向正交，沿图像方向，与e1垂直，则知e2方向可通过e1与主光轴方向的叉积并归一化获得。

                                              

（3）获取了e1与e2后，e3与e1和e2正交，e1自然就是他们两个的叉积：

                                                          

   则可将左相机的极点转换到无穷远处的矩阵Rrect如下：

                                                                                    

 

4、通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵。左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行。

                                                                  

5、通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让左、右叠加部分最大。