opencv的单应矩阵相机标定

给定同一相机在不同角度拍摄的不同照片,如何标定计算机的内参(焦距、主点)、外参(主要是旋转矩阵)?

opencv的图片拼接demo stitching_detailed中有示例

主要过程:

1.surf /orb算法查找两个图片的特征点;

2.匹配两个图片的特征点,匹配过程中使用RANSAC算法计算单应矩阵;

3.根据单应矩阵计算焦距;

4.根据单应矩阵、焦距等参数计算旋转矩阵;

5.计算主点.

1.单应矩阵计算

单应矩阵是在匹配特征点的过程中得到的

BestOf2NearestMatcher::match->cvFindHomography->runRANSAC
关键过程:
1)cvConvertPointsHomogeneous
二维坐标转齐次坐标,方便计算H矩阵,这里只是做了简单的行列转换,并增加了一列。
2)estimator.runRANSAC
运行RANSAC算法,目标是找到两福图像特征点之间的映射关系,也就是单应矩阵H,
基本原理:
从两幅图像的特征点中随机找到4对不同的特征点,每对特征点齐次坐标对记为(p1,p2),然后计算矩阵方程的p1=H*p2解,也就是H的估计值,然后把所有特征点代入,记录每次得到的内点(也就是符合解的点)的数量,
迭代若干次(初始2000次,根据RANSAC算法会指数性减少),每次都记录内点数最多的解,最终将内点最多的解作为单应矩阵H的最优解。
关键过程:
<1> CvModelEstimator2::getSubset 从输入的特征点中获取随机4对特征点,这些特征点要满足在各自图像上不能在同一直线(否则方程可能无法求解),为找到这些点需要迭代最多300次,调用checkSubset检查直线;
<2> CvHomographyEstimator::runKernel 求解4对特征点构成的8个方程组,得到一次H矩阵的解,H矩阵是3×3矩阵,归一化后剩余8个未知数,一对特征点产生两个方程,所以需要4个特征点对产生8个方程
<3> CvModelEstimator2::findInliers 根据得到的H估计解,代入所有特征点,计算内点,返回内点数、内点mask等,之后会根据每次返回的最大内点数,确定H的最优解;
<4> cvRANSACUpdateNumIters 通过置信度、当前解的内点数等参数更新需要迭代的次数,会从初始的2000次指数性降低。


之后opencv会对返回的内点mask将原来两幅图的特征点放入返回的MatchesInfo结构中,并且再次对这些内点计算其单应矩阵,作为最终的H矩阵。
BestOf2NearestMatcher::match

2.根据单应矩阵估计内参:焦距

HomographyBasedEstimator::estimate->estimateFocal->focalsFromHomography
直接用公式根据H矩阵计算得到焦距。
原理:
参考《Construction of Panoramic Image Mosaics with Global and Local Alignment.pdf》第3.2节以及第5节
基本解释:
同一个空间点P(x,y,z)在两个图像上的点分别为P1(x1,y1),P2(x2,y2),根据相机坐标系和世界坐标系变换公式:P1=K1*R1*P,P2=K2*R2*P,其中Ki,Ri分别为两个图像对应的相机的内参和旋转矩阵,
由于空间P是同一个点,那么P1=K1*R1*R2的逆*K2的逆*P2=K1*R12*K2的逆*P2,已知P1P2的单应矩阵H(通过RANSAC算法求出),那么H=K1*R12*K2的逆,Ki作为内参主要有焦距和主点,主点可以忽略,
R12为图像1到图像2的旋转矩阵,那么H矩阵中只包含旋转矩阵和焦距参数,根据旋转矩阵的正交性,可以求解得到焦距,使焦距成为H矩阵各个元素的表达式,从而求得焦距的估计值。
opencv对每幅图像求一个焦距然后取其中间值作为warp球体的半径。

3.计算外参:旋转矩阵

在HomographyBasedEstimator::estimate中除了估算焦距之外,还估算了旋转矩阵:
    findMaxSpanningTree(num_images, pairwise_matches, span_tree, span_tree_centers); 
    span_tree.walkBreadthFirst(span_tree_centers[0], CalcRotation(num_images, pairwise_matches, cameras));
findMaxSpanningTree:
由于可能输入多个图像,产生了多个匹配特征点的MatchesInfo结构,每个MatchesInfo包含两幅图像之间匹配的特征点(内点)以及H矩阵,需要确定这些图像之间的邻接关系,
这里以两幅图像之间的内点数量为权值构建最大生成树,保证这样的一个图片序列两两之间的内点数最多,也就最有可能是邻接的;
span_tree.walkBreadthFirst:
用广度优先遍历这棵最大生成树,分别计算每两个邻接图像(也就是每个相机)的旋转矩阵R。
原理:

根据上面的公式:H=K1*R12*K2的逆,R12=K1的逆*H*K2,R1=R2*R12=R2*K1的逆*H*K2,已知上幅图像的R、两个相机的内参Ki(焦距、主点)、两幅图的单应矩阵H,可以求得下幅图的R。

4.计算内参:主点

简单设置为图像的中心位置

  • 5
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: QT是一个开源的跨平台应用程序开发框架,OpenCV是一套用于计算机视觉和机器学习的开源库,而单目相机标定是指通过对单个相机的内外参数进行估计的过程。 在使用QT和OpenCV实现单目相机标定的过程中,可以先创建一个QT应用程序窗口来进行图像显示和交互操作。通过OpenCV库中的函数,可以读取相机采集的图像,并将其显示在QT窗口中。同时,还可以在QT窗口中添加一些按钮或者滑动条等用于选择标定模式、设置标定参数以及展示结果等。 为了进行相机标定,首先需要采集一组不同角度和位置的图像。其中包括了用于标定的棋盘格图像。接着,通过OpenCV库中的相机标定函数,可以根据这些图像计算出相机的内参矩阵和畸变系数。这些参数将用于校正图像中的畸变。 在QT窗口中,可以显示标定结果以及标定参数的相关信息。通过调整滑动条或按钮进行参数的设置和标定的执行。同时,还可以添加一些自定义的功能,例如保存标定结果、计算图像中特定物体的三维坐标等。 总结来说,通过QT和OpenCV的结合,可以实现对单目相机的标定功能,并在QT窗口中显示结果和进行交互操作。这样可以在相机标定过程中提供更加灵活和友好的界面,方便用户进行操作和观察结果。 ### 回答2: Qt是一种跨平台的应用程序开发框架,OpenCV是一个广泛应用于计算机视觉领域的开源库,单目相机标定是一种通过计算相机内外参数来获得准确图像测量结果的技术,而"C"则表示使用C语言进行编程。 在使用Qt进行OpenCV的单目相机标定时,首先需要通过相机拍摄多幅已知的标定图像。为了准确标定相机,这些标定图像应该包括多个不同的视角、不同的位置和不同的焦距。然后,使用OpenCV提供的函数和算法来计算相机的内外参数。 在Qt中,可以使用图形界面来实现相机标定的可视化操作,通过选择标定图像的文件路径来加载图像,并提供按钮来触发标定过程。在标定过程中,可以显示标定结果,例如相机矩阵、畸变系数和旋转矩阵等。同时,还可以计算并显示相机的投影模型、校正后的图像和立体视图等。 通过使用C语言编程,可以更好地与OpenCV的函数和算法进行集成,以便于实现各种相机标定相关的计算和处理。在编写程序时,可以使用Qt中的信号和槽机制来处理用户界面和相机标定之间的交互,通过调用OpenCV的函数来实现具体的标定功能。 总之,Qt和OpenCV可以很好地结合在一起实现单目相机的标定。Qt提供了界面设计和交互操作的便利性,而OpenCV则提供了强大的图像处理和计算功能。通过使用C语言进行编程,可以更好地与OpenCV集成,并实现各种相机标定相关的计算和处理。这样的组合可以帮助开发者更好地进行单目相机标定的应用开发。 ### 回答3: Qt是一种跨平台的应用程序开发框架,可以用于开发图形用户界面(GUI)应用程序。OpenCV是一个开源的计算机视觉库,提供了丰富的图像处理和计算机视觉算法。单目相机标定是计算机视觉领域中的一个重要任务,用于估计相机的内部参数和畸变系数。 在使用Qt和OpenCV进行单目相机标定的C++编程中,可以按照以下步骤进行: 1. 创建Qt应用程序,并添加OpenCV库文件和头文件的路径。 2. 导入相机标定所需的图像,图像应包含已知的校准板(通常使用棋盘格)。 3. 使用OpenCV的函数来检测校准板的角点,常用函数是`cv::findChessboardCorners`。 4. 使用OpenCV函数`cv::cornerSubPix`来进一步提高角点的准确性。 5. 通过提供校准板的实际尺寸和检测到的角点坐标,调用OpenCV的`cv::calibrateCamera`函数进行相机标定。 6. 标定完成后,可以使用标定后的相机矩阵来矫正图像,从而消除图像中的畸变。 7. 可以使用标定结果来进行立体视觉、目标检测、姿态估计等计算机视觉任务。 在Qt中,可以使用QFileDialog来选择图像文件,可以使用QImage和QPixmap来显示图像,可以使用QMessageBox来显示标定结果。 总之,使用Qt和OpenCV进行单目相机标定的C++编程需要结合两个库的功能,按照一定的步骤进行操作,最终可以得到相机的内部参数和畸变系数,为后续的计算机视觉任务提供准确的基础。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值