前言
一个摄像头视野不大的时候,我们希望进行两个视野合并,这样让正视的视野增大,从而可以看到更广阔的标准视野。拼接的方法分为两条路,第一条路是Sticher类,第二条思路是特征点匹配。
本篇使用特征点匹配,进行两张图来视野合并拼接。
Demo
100%的点匹配
换了一幅图:
所以,opencv传统的方式,对这些特征点是有一些要求的。(注意:这两张图使用sStitcher类实现全景图片拼接,是无法拼接成功的!!!)
两张图的拼接过程
步骤一:打开图片
步骤二:提取特征点
步骤三:暴力匹配
步骤四:提取暴力匹配后比较好的点
步骤五:计算变换矩阵
步骤六:计算第二张图变换后的图像的大小
步骤七:对第二张图进行举证变化且变为目标大小
步骤八:进行融合
步骤九:对重叠区域进行渐进色过度
由于实际效果出现重影,查阅相关资料,这部分可以消除一部分,但是需要深入研究,而且消除一部分也只是达到较可以的水平,并不能完全消除。
cpp有兴趣读者,可以深入研究沟通这块。
比较明确的方法就是查看Stitcher的源码研究,将其投影矩阵部分重叠消除的代码抠出来。
匹配点数调参测试
强制40个点
匹配探测到的10%的点
匹配探测到的60%的点
匹配探测到的100%的点
函数原型
函数static Ptr<SURF> create
- 参数一:double类型的hessianThreshold,默认值100,用于SURF的hessian关键点检测器的阈值;
- 参数二:int类型的nOctaves,默认值4,关键点检测器将使用的金字塔倍频程数;
- 参数三:int类型的nOctaveLayers,默认值3,每八度音阶的层数。3是D.Lowe纸张中使用的值。这个八度音阶数是根据图像分辨率自动计算出来的;
- 参数四:bool类型的extended,扩展描述符标志(true-使用扩展的128个元素描述符;false-使用64个元素描述符),默认false;
- 参数五:bool类型的upright,向上向右或旋转的特征标志(true-不计算特征的方向;faslse-计算方向),默认false;
函数xfeatures2d::SURT::detectAndCompute
detectAndCompute函数是OpenCV库中用于特征检测与计算的函数,其原型根据不同的特征检测器(如SIFT、SURF、ORB等)可能略有不同,但大体上遵循相似的参数结构。
- 参数一:InputArray类型的image,输入cv::Mat;
- 参数二:InputArray类型的mask,输入cv::Mat,不需要时,直接可以cv::Mat()即可;
- 参数三:std::Vector<KeyPoint>类型的keypoints,原图的关键点;
- 参数四:OutputArray类型的descriptors,计算描述符;
- 参数五:如果设置为true,则函数会假设keypoints向量中已经包含了一些关键点,函数将只计算这些点的描述子,而不是重新检测关键点。
函数cv::FlannBasedMatcher::create
初始化暴力匹配实例。
函数cv::FlannBasedMatcher::match
- 参数一:InputArray类型的queryDescriptors,查询描述符集,一般cv::Mat,某个特征提取的描述符。
- 参数二:InputArray类型的trainDescriptors,训练描述符集,此处输入的应该是没有加入到类对象集合种的(该类有训练的数据集合),一般cv::Mat,某个特征提取的描述符。
- 参数三:std::vector类型的matches。如果在掩码中屏蔽了查询描述符,则不会为此添加匹配项描述符。因此,匹配项的大小可能小于查询描述符计数。
- 参数四:InputArray类型的mask,指定输入查询和训练矩阵之间允许的匹配的掩码描述符。
函数cv::drawMatches
- 参数一:InputArray类型的img1,图像1。
- 参数二:std::vector类型的keypoints1,图像1的关键点。
- 参数三:InputArray类型的img2,图像2。
- 参数四:std::vector类型的keypoints2,图像2的关键点。
- 参数五:std::vector类型的matchers1to2,从第一个图像匹配到第二个图像,这意味着keypoints1[i]在keypoints2中有一个对应的点[matches[i]]。
- 参数六:InputOutputArray类型的outImg,为空时,默认并排绘制输出图像以及连接关键点;若不为空,则在图像上绘制关系点。
- 参数七:Scalar类型的matcherColor,匹配颜色匹配(线和连接的关键点)的颜色。如果颜色为cv::Scalar::all(-1),则为随机颜色。
- 参数八:Scalar类型的singlePointColor,颜色单个关键点(圆)的颜色,这意味着关键点没有匹配到的则认是该颜色。
- 参数九:std::vector类型的matchersMask,确定绘制的匹配项目,若是为空,则表示全部绘制。
- 参数十:int类型的flags,查看枚举DrawMatchesFlags,如下:
函数cv::findHomography
cv::findHomography 是 OpenCV 库中的一个函数,用于在两组二维点之间寻找单应性矩阵(Homography Matrix)。单应性矩阵是一个 3x3 的矩阵,它将一个平面上的点映射到另一个平面(可能是同一个平面,但通常是在不同的视角或条件下)上的点。这在计算机视觉和图像处理中非常有用,比如图像拼接、增强现实、相机姿态估计等领域。
- 参数一:srcPoints,源图像中的点集,通常是 std::vector cv::Point2f 或 cv::Mat 类型,其中每行代表一个点的 x 和 y 坐标。
- 参数二:dstPoints:目标图像中对应的点集,与 srcPoints 格式相同。
- 参数三:method:单应性矩阵的计算方法。常见的值有 0(使用所有点,默认方法)、cv::RANSAC(RANdom SAmple Consensus,基于随机样本一致性的鲁棒方法)、cv::LMEDS(Least-Median of Squares,基于最小中值平方的方法,对噪声和异常值有较好的鲁棒性)等。
- 参数四:ransacReprojThresh,当 method 设置为 cv::RANSAC 或 cv::RANSAC_FIXED_POINT 时,此参数指定了重投影误差的最大阈值,用于判断点是否为内点。
- 参数五:mask,输出参数,一个与输入点集同样大小的掩码,用于指示哪些点被认为是内点(即,在计算单应性矩阵时使用的点)。
- 参数六:maxIters,当 method 为 cv::RANSAC 或 cv::LMEDS 时,此参数指定了算法的最大迭代次数。
- 参数七:confidence,当 method 为 cv::RANSAC 时,此参数指定了算法计算出的单应性矩阵的置信度(即在估计的模型是正确模型的概率)。
函数cv::warpPerspective
- 参数一:src,输入图像,即要进行透视变换的原始图像。
- 参数二:dst,输出图像,即透视变换后的图像。这个图像将与 dsize 指定的尺寸相同。
- 参数三:M,3x3 的透视变换矩阵。这个矩阵定义了如何将 src 中的点映射到 dst 中的新位置。
- 参数四:dsize,输出图像的尺寸。这个参数是必需的,因为透视变换可能会改变图像的大小。
- 参数五:flags,插值方法。默认为 INTER_LINEAR,表示双线性插值。其他选项包括 INTER_NEAREST(最近邻插值)、INTER_CUBIC(双三次插值)等。
- 参数六:borderMode,边界像素的外推方法。默认为 BORDER_CONSTANT,表示用恒定的值(borderValue)填充边界外的像素。其他选项包括 BORDER_REPLICATE(复制边缘像素)、BORDER_REFLECT(反射边缘像素)等。
- 参数七:borderValue,当 borderMode 为 BORDER_CONSTANT 时,用于填充边界像素的值。默认为 Scalar(),即黑色。
函数cv::Mat::copyTo
cv::Mat::copyTo 是 OpenCV 库中 cv::Mat 类的一个成员函数,用于将一个矩阵(图像、数组等)的内容复制到另一个矩阵中。这个函数非常有用,因为它允许你复制矩阵的全部或部分数据,同时可以选择性地更新目标矩阵的大小和类型。
- 参数一:输出矩阵m,即复制内容的目标矩阵。如果 m 的大小和类型与源矩阵(调用 copyTo 的矩阵)不同,m 会被重新分配以匹配源矩阵的大小和类型。
- 参数二(可选):mask:一个与源矩阵同样大小的8位单通道矩阵,用于指定哪些元素应该被复制到目标矩阵中。如果 mask 的某个位置的值非零,则源矩阵对应位置的元素会被复制到目标矩阵;如果为零,则目标矩阵对应位置的元素不会被修改(保持原样或初始化为零,取决于目标矩阵的初始状态)。
Demo源码
入坑
入坑一:cv::Mat.copyTo函数崩溃
问题
cv::Mat的copyTo函数崩溃
原因
被复制的源文件mat和函数里面的目标mat都需要宽高,类型相等。
解决
是因为计算最终的图像错误导致的,纠正逻辑代码。