我的任务是在3D坐标系中定位对象。由于我必须获得几乎准确的X和Y坐标,因此我决定跟踪一个具有已知Z坐标的颜色标记,该颜色标记将放置在移动对象的顶部,例如此图中的橙色球:
首先,我已经完成了相机校准以获取固有参数,然后使用cv :: solvePnP来获取旋转和平移矢量,如以下代码所示:
std::vector<:point2f> imagePoints;
std::vector<:point3f> objectPoints;
//img points are green dots in the picture
imagePoints.push_back(cv::Point2f(271.,109.));
imagePoints.push_back(cv::Point2f(65.,208.));
imagePoints.push_back(cv::Point2f(334.,459.));
imagePoints.push_back(cv::Point2f(600.,225.));
//object points are measured in millimeters because calibration is done in mm also
objectPoints.push_back(cv::Point3f(0., 0., 0.));
objectPoints.push_back(cv::Point3f(-511.,2181.,0.));
objectPoints.push_back(cv::Point3f(-3574.,2354.,0.));
objectPoints.push_back(cv::Point3f(-3400.,0.,0.));
cv::Mat rvec(1,3,cv::DataType::type);
cv::Mat tvec(1,3,cv::DataType::type);
cv::Mat rotationMatrix(3,3,cv::DataType::type);
cv::solvePnP(objectPoints, imagePoints, cameraMatrix, distCoeffs, rvec, tvec);
cv::Rodrigues(rvec,rotationMatrix);
在拥有所有矩阵之后,该方程式可以帮助我将图像点转换为世界坐标:
其中M是cameraMatrix,R-rotationMatrix,t-tvec,而s是未知数。 Zconst表示橙色球所在的高度,在此示例中为285毫米。
因此,首先我需要求解前面的方程,得到" s",然后可以通过选择图像点找出X和Y坐标:
解决这个问题,我可以使用矩阵的最后一行找出变量" s",因为Zconst是已知的,因此下面的代码如下:
cv::Mat uvPoint = (cv::Mat_(3,1) << 363, 222, 1); // u = 363, v = 222, got this point using mouse callback
cv::Mat leftSideMat = rotationMatrix.inv() * cameraMatrix.inv() * uvPoint;
cv::Mat rightSideMat = rotationMatrix.inv() * tvec;
double s = (285 + rightSideMat.at(2,0))/leftSideMat.at(2,0));
//285 represents the height Zconst
std::cout <
此后,我得到结果:P = [-2629.5,1272.6,285.]
当我将其与测量进行比较时,即:Preal = [-2629.6,1269.5,285.]
误差很小,非常好,但是当我将盒子移到房间的边缘时,误差可能在20-40mm之间,我想对此进行改进。谁能帮助我,您有什么建议吗?
您是否使用固有参数对图像应用了不失真? 尤其是在图像边缘,任何COTS镜头的畸变都可能非常高,这可能至少是您收到此错误的原因之一。
@ count0是的,我做到了,首先我从xml文件中加载了cameraMatrix和distCoeffs,然后应用了cv::undistort(inputImage,undistorted,cameraMatrix,distCoeffs);之后,通过鼠标回调,我选择了橙色球并将其值存储在uvPoint中。
我认为,使用COTS相机和一个跨度为几米的房间,您将不得不承受2-4厘米的误差。 对于这样的系统,它实际上是相当不错的。 要处理真实的3D,您无论如何都必须使用多视图相机系统,并且由于视差误差,距离相机更远的对象的误差会更高。 因此,这里的答案是:使用任何种类的多种测量。
好的,非常感谢您抽出宝贵的时间。
想知道有用的例子。 谢谢!
非常有用的示例,帮助我解决了投影问题
根据您的配置,边缘的平均误差为20-40mm。 看来您做得很好。
不修改相机/系统配置,很难做得更好。 您可以尝试重做相机校准并希望获得更好的结果,但这并不能改善它们(您最终可能会得到更差的结果,因此请不要删除实际的内部参数)
如count0所述,如果需要更高的精度,则应进行多次测量。
好的,我不确定我是否做得正确,谢谢您的建议。
您是否从失真或未失真的图像中获得绿点(imagePoints)? 因为功能solvePnP已经使imagePoints不失真(除非您不传递失真系数或将它们传递为null)。 如果要从未失真的图像中获取这些imagePoints,可能会使它们两次失真,这最终会导致角落错误增加。
https://github.com/Itseez/opencv/blob/master/modules/calib3d/src/solvepnp.cpp
这不能为问题提供答案。 要批评或要求作者澄清,请在其帖子下方留下评论-您可以随时对自己的帖子发表评论,一旦拥有足够的声誉,您就可以对任何帖子发表评论。
嗨,瑞克。 我编辑了答案。 我希望现在会更好。 谢谢你的建议。