stereo calibration使用opencv获取图像rectification

1. 1. 使用opencv获取图像rectification

左右两张图像经过rectification后，会前向共面，也就是它们的主光轴平行，见“三角测量的前提的假设”。

该处理的源代码对应于opencv的sample的stereo_calib.cpp。

1. 1. 1. 基本处理过程

基本处理过程分为两个部分，1)获取进行rectification所需要的map1和map2。 2)对每张图像基于是left camera还是right camera分别进行remap。

第二部分非常简单，类似于单目camera的UndistortRectify的remap操作，省略。

第一部分的处理如下：

1. 从图片列表中读取图像。
2. cvtColor，把图像转换成灰度图；
3. 基于灰度图像，使用findChessboardCorners, 获取corners
4. 基于灰度图，使用cornerSubPix，获取更精确的corners
5. 基于左右camera，把每张图的Corner points 放入分别放入左右images points，二维向量，第一维对应于图像，第二维对应于图像内的corners points；
6. 基于图像的数量构造obj points ；
7. 调用initCameraMatrix2D函数，基于3D object的points和2D image points的对应关系，获取左右camera matrix。
8. 调用stereoCalibrate函数，进行stereo 标定
9. 遍历所有图像，调用undistortPoints函数和computeCorrespondEpilines函数和函数fabs来计算标定的epipolar的误差。
10. 调用stereoRectify函数，获取左右image plane的和、投影矩阵和和用于3维重建的矩阵Q。后面会调用stereoRectifyUncalibrated函数更新左右image plane的和、投影矩阵和。
11. 如果使用的是HARTLEY'S METHOD，调用findFundamentalMat函数，计算基本矩阵。
12. 果使用的是HARTLEY'S METHOD，调用stereoRectifyUncalibrated函数，计算用于rectification的单应性矩阵，并基于单应性矩阵获取左右image plane的和，并更新投影矩阵和。
13. 调用initUndistortRectifyMap函数，获取左右image plane对应的undistortion map。
14. 结束。
    1. 1. demo的输入参数

demo的输入参数：

1. -w=6，board_width，棋盘的x-axis有6个Corner；
2. -h=9，board_height，棋盘的y-axis有9个Corner；
3. Inputdata=stereoFrames/path.yml，它的左右图像必须成对出现，因此，它的组织形式按seq方式组织如下：

%YAML:1.0

---

image:

   - "/data_1/songqing/opencv/example/image/stereoFrames/Color_0.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/IR_gain0x0_exp0x0_1.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/Color_10.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/IR_gain0x0_exp0x0_11.bmp"

1. square size，默认为1；

我使用了HARTLEY'S METHOD，如果使用BOUGUET’S METHOD,出来的结果是错误的,应该是我右边的摄像头有光斑导致的。

用网上使用的棋盘图像，使用HARTLEY'S METHOD和BOUGUET’S METHOD都能得到正确的结果。

1. 1. 1. 结果分析

原有的程序输出的结果有：

1. extrinsics.yml：包含stereo 标定的旋转矩阵R，left camera的,right camera，平移矩阵T，leftcamera的投影矩阵，rightcamera的，重映射矩阵Q。
2. intrinsics.yml：左右两个camera的camera 内参和畸变相关系数。

 

我进行图像验证的输入和输出如下：

输入的图像如下：

输出的图像如下：