双摄像头立体成像(三)-畸变矫正与立体校正

畸变矫正是上一篇博文的遗留问题，当畸变系数和内外参数矩阵标定完成后，就应该进行畸变的矫正，以达到消除畸变的目的，此其一。

在该系列第一部分的博文中介绍的立体成像原理中提到，要通过两幅图像估计物点的深度信息，就必须在两幅图像中准确的匹配到同一物点，这样才能根据该物点在两幅图像中的位置关系，计算物体深度。为了降低匹配的计算量，两个摄像头的成像平面应处于同一平面。但是，单单依靠严格的摆放摄像头来达到这个目的显然有些困难。立体校正就是利用几何图形变换(Geometric Image Transformation)关系，使得原先不满足上述位置关系的两幅图像满足该条件，此其二。

数学原理

• 畸变矫正(compensate lens distortion)

畸变矫正的方法就是用上一篇博文给出的公式对像素位置进行重新映射。这里重新写出重新映射的公式。

先矫正径向畸变，

再矫正切向畸变，

• 立体矫正(stereo rectify)

立体矫正能够有效降低立体匹配的计算量，立体矫正的具体作用见下图，

立体矫正前，

立体矫正后，

立体矫正的算法原理没有详细了解，此处从略。

OpenCV相关函数说明

• 畸变矫正函数 undistort() 

 undistort() 是独立的一个畸变矫正函数，一次性可以完成映射矩阵的求解和重新映射。下面我们还会看到把这两步分开来做的函数。

调用方法，

 

1. src-输入未经过矫正的图像
2. dst-经过矫正后输出的图像
3. cameraMatrix-标定而得到的摄像机矩阵
4. distCoeffs-标定得到的摄像机畸变矩阵
5. newCameraMatrix-输入矫正后的摄像机矩阵（可以省略）

• 立体标定函数 stereoCalibrate() 

 stereoCalibrate() 是用来标定一个立体摄像头的，也就是同时标定两个摄像头。标定的结果除了能够求出两个摄像头的内外参数矩阵，跟能够得出两个摄像头的位置关系R,T。

调用方法，

double stereoCalibrate(InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints1,
　　　　　　　　　　　　　InputArrayOfArrays imagePoints2, InputOutputArray cameraMatrix1,InputOutputArray distCoeffs1, 
　　　　　　　　　　　　　InputOutputArray cameraMatrix2, InputOutputArray distCoeffs2, Size imageSize, OutputArray R,
　　　　　　　　　　　　　OutputArray T, OutputArray E, OutputArray F, TermCriteria criteria=
　　　　　　　　　　　　　TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 1e-6), int
　　　　　　　　　　　　　flags=CALIB_FIX_INTRINSIC )

 

1. objectPoints- vector<point3f> 型的数据结构，存储标定角点在世界坐标系中的位置
2. imagePoints1- vector<vector<point2f>> 型的数据结构，存储标定角点在第一个摄像机下的投影后的亚像素坐标
3. imagePoints2- vector<vector<point2f>> 型的数据结构，存储标定角点在第二个摄像机下的投影后的亚像素坐标
4. cameraMatrix1-输入/输出型的第一个摄像机的相机矩阵。如果CV_CALIB_USE_INTRINSIC_GUESS , CV_CALIB_FIX_ASPECT_RATIO ,CV_CALIB_FIX_INTRINSIC , or CV_CALIB_FIX_FOCAL_LENGTH其中的一个或多个标志被设置，该摄像机矩阵的一些或全部参数需要被初始化
5. distCoeffs1-第一个摄像机的输入/输出型畸变向量。根据矫正模型的不同，输出向量长度由标志决定
6. cameraMatrix2-输入/输出型的第二个摄像机的相机矩阵。参数意义同第一个相机矩阵相似
7. distCoeffs2-第一个摄像机的输入/输出型畸变向量。根据矫正模型的不同，输出向量长度由标志决定
8. imageSize-图像的大小
9. R-输出型，第一和第二个摄像机之间的旋转矩阵
10. T-输出型，第一和第二个摄像机之间的平移矩阵
11. E-输出型，基本矩阵
12. F-输出型，基础矩阵
13. term_crit-迭代优化的终止条件

14. flag-

    •  CV_CALIB_FIX_INTRINSIC 如果该标志被设置，那么就会固定输入的cameraMatrix和distCoeffs不变，只求解$$$R,T,E,F$$$.
    •  CV_CALIB_USE_INTRINSIC_GUESS 根据用户提供的cameraMatrix和distCoeffs为初始值开始迭代
    •  CV_CALIB_FIX_PRINCIPAL_POINT 迭代过程中不会改变主点的位置
    •  CV_CALIB_FIX_FOCAL_LENGTH 迭代过程中不会改变焦距
    •  CV_CALIB_SAME_FOCAL_LENGTH 强制保持两个摄像机的焦距相同
    •  CV_CALIB_ZERO_TANGENT_DIST 切向畸变保持为零
    •  CV_CALIB_FIX_K1,...,CV_CALIB_FIX_K6 迭代过程中不改变相应的值。如果设置了 CV_CALIB_USE_INTRINSIC_GUESS 将会使用用户提供的初始值，否则设置为零
    •  CV_CALIB_RATIONAL_MODEL 畸变模型的选择，如果设置了该参数，将会使用更精确的畸变模型，distCoeffs的长度就会变成8

• 立体校正函数 stereoRectify() 

 stereoRectify() 的作用是为每个摄像头计算立体校正的映射矩阵。所以其运行结果并不是直接将图片进行立体矫正，而是得出进行立体矫正所需要的映射矩阵。

调用方法，

void stereoRectify(InputArray cameraMatrix1, InputArray distCoeffs1, 
　　　　　　　　　　　InputArray cameraMatrix2,InputArray distCoeffs2, Size imageSize, 
　　　　　　　　　　　InputArray R, InputArray T,OutputArray R1, OutputArray R2, OutputArray P1, 
　　　　　　　　　　　OutputArray P2, OutputArray Q, int flags=CALIB_ZERO_DISPARITY, double alpha=-1, 
　　　　　　　　　　　Size newImageSize=Size(), Rect* validPixROI1=0, Rect* validPixROI2=0 )

 

1. cameraMatrix1-第一个摄像机的摄像机矩阵
2. distCoeffs1-第一个摄像机的畸变向量
3. cameraMatrix2-第二个摄像机的摄像机矩阵
4. distCoeffs1-第二个摄像机的畸变向量
5. imageSize-图像大小
6. R- stereoCalibrate() 求得的R矩阵
7. T- stereoCalibrate() 求得的T矩阵
8. R1-输出矩阵，第一个摄像机的校正变换矩阵（旋转变换）
9. R2-输出矩阵，第二个摄像机的校正变换矩阵（旋转矩阵）
10. P1-输出矩阵&