14讲代码纪要

DMatch queryIdx/trainIdx

• //queryIdx是本帧特征点的索引，trainIdx是该特征点在另一张图像中相匹配的特征点的索引

points1.push_back ( keypoints_1[matches[i].queryIdx].pt );
points2.push_back ( keypoints_2[matches[i].trainIdx].pt );

findFundamentalMat基础矩阵

fundamental_matrix = findFundamentalMat ( points1, points2, CV_FM_8POINT );

findEssentialMat本质矩阵

essential_matrix = findEssentialMat ( points1, points2, focal_length, principal_point );

Mat findEssentialMat( InputArray points1, InputArray points2,
                                 InputArray cameraMatrix, int method = RANSAC,
                                 double prob = 0.999, double threshold = 1.0,
                                 OutputArray mask = noArray() );

• points1第一幅图片的N个二维像素点. 点坐标应该是浮点（单精度或双精度）。
• 参数 points2 第二幅图片的二维像素点，与points1同样大小和类型 .
• 参数cameraMatrix相机矩阵，请注意，此功能假设points1和points2是具有相同摄像机矩阵的摄像机的特征点。
• 参数method计算本征矩阵的方法
• ** RANSAC 用于RANSAC算法。 LMedS **用于LMedS算法。默认RANSAC方法
• 参数prob概率仅用于RANSAC或LMedS方法的参数。 它规定了估计矩阵正确的可信度（概率）
• 参数threshold用于RANSAC的参数。 它是从点到极线的最大距离（以像素为单位），超出此点时，该点被视为异常值，不用于计算最终的基本矩阵。 根据点定位精度，图像分辨率和图像噪声的不同，可将其设置为1-3。
• 参数mask输出N个元素的数组，其中每个元素对于异常值设置为0，对其他点设置为1。 该数组仅在RANSAC和LMedS方法中计算。
• 函数返回值为计算出的本征矩阵，可进一步传递给decomposeEssentialMat或recoverPose以恢复相机之间的相对位置。

findHomography单应矩阵

homography_matrix = findHomography ( points1, points2, RANSAC, 3 );

Mat cv::findHomography	(	InputArray 	srcPoints,
                                InputArray 	dstPoints,
                                int 	method = 0,
                                double 	ransacReprojThreshold = 3,
                                OutputArray 	mask = noArray(),
                                const int 	maxIters = 2000,
                                const double 	confidence = 0.995 
)

• srcPoints 源平面中点的坐标矩阵，可以是CV_32FC2类型，也可以是vector类型
• dstPoints 目标平面中点的坐标矩阵，可以是CV_32FC2类型，也可以是vector类型
• method 计算单应矩阵所使用的方法。不同的方法对应不同的参数，具体如下：
• 0 - 利用所有点的常规方法，RANSAC - RANSAC-基于RANSAC的鲁棒算法，LMEDS - 最小中值鲁棒算法，RHO - PROSAC-基于PROSAC的鲁棒算法
• ransacReprojThreshold 将点对视为内点的最大允许重投影错误阈值（仅用于RANSAC和RHO方法）。如果。。。则点被认为是个外点（即错误匹配点对）。若srcPoints和dstPoints是以像素为单位的，则该参数通常设置在1到10的范围内。
• mask，可选输出掩码矩阵，通常由鲁棒算法（RANSAC或LMEDS）设置。 请注意，输入掩码矩阵是不需要设置的。
• maxIters RANSAC算法的最大迭代次数，默认值为2000。
• confidence 可信度值，取值范围为0到1.

cv::recoverPose()

• 在OpenCV中cv::recoverPose()函数主要是用来从本质矩阵中恢复 R , t
• 例：

recoverPose(essential_matrix, points1, points2, R, t, focal_lenth, principal_point);

• 该函数在OpenCV中一共有以下这几种形式：

int recoverPose( InputArray E, InputArray points1, InputArray points2,
                 InputArray cameraMatrix, OutputArray R, OutputArray t,
                 InputOutputArray mask = noArray() );
int recoverPose( InputArray E, InputArray points1, InputArray points2,
                 OutputArray R, OutputArray t, double focal = 1.0,
                 Point2d pp = Point2d(0, 0), InputOutputArray mask = noArray() );
int recoverPose( InputArray E, InputArray points1, InputArray points2,
                 InputArray cameraMatrix, OutputArray R, OutputArray t, 
                 double distanceThresh, InputOutputArray mask = noArray(),
                 OutputArray triangulatedPoints = noArray());

E：已经求解出来的本质矩阵，它是3x3的矩阵；
points1：第一张图片中的点；
points2：第二张图片中的点；
cameraMatrix：相机内参矩阵，它是3x3的矩阵；
R：求解出来的两帧图片之间的旋转矩阵；
t：求解出来的两帧图片之间的平移向量；
focal：相机焦距；
pp：像素坐标的原点；
distanceThresh：点的距离阈值，用来滤出距离较远的点；
triangulatedPoints：通过三角化还原点；

• 注意：
  　　1. 通过该函数求解出来的 R , t R,t R,t，它表示的是points1到points2的变换，也就是 R 1 t o 2 R_{1to2} R1to2​， t 1 t o 2 t_{1to2} t1to2​
  　　2.该函数求解出来的 R , t R,t R,t已经是最合适的 R , t R,t R,t，已经通过内部的代码去掉了另外三种错误的解
  　　3. cv::recoverPose()中points1和points2的输入顺序，必须也要和求本质矩阵时对函数cv::findEssentialMat()输入的顺序相同

g2o报错

https://www.cnblogs.com/xueyuanaichiyu/p/7921382.html

 error: no matching function for call to ‘g2o::OptimizationAlgorithmGaussNewton::OptimizationAlgorithmGaussNewton(Block*&)’
 mGaussNewton* solver = new g2o::OptimizationAlgorithmGaussNewton( solver_ptr );

修改前：

typedef g2o::BlockSolver< g2o::BlockSolverTraits<3,1> > Block;
Block::LinearSolverType* linearSolver = new g2o::LinearSolverDenseBlock::PoseMatrixType();
Block* solver_ptr = new Block( linearSolver );
g2o::OptimizationAlgorithmLevenberg* solver = new g2o::OptimizationAlgorithmLevenberg( solver_ptr );
g2o::SparseOptimizer optimizer;
optimizer.setAlgorithm( solver );
optimizer.setVerbose( true );

修改后：

typedef g2o::BlockSolver< g2o::BlockSolverTraits<3,1> > Block;
Block::LinearSolverType* linearSolver = new g2o::LinearSolverDense<Block::PoseMatrixType>();
Block* solver_ptr = new Block( std::unique_ptr<Block::LinearSolverType>(linearSolver) );
g2o::OptimizationAlgorithmLevenberg* solver = new g2o::OptimizationAlgorithmLevenberg(std::unique_ptr<Block>(solver_ptr) );
g2o::SparseOptimizer optimizer;   
optimizer.setAlgorithm( solver );   
optimizer.setVerbose( true );