特征匹配和单应性

AI算法网奇

已于 2023-03-23 01:39:22 修改

阅读量2.5k

点赞数

分类专栏：视觉相关文章标签： opencv 计算机视觉人工智能

于 2017-07-24 20:17:19 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/76037579

版权

视觉相关专栏收录该内容

229 篇文章 25 订阅

订阅专栏

CVPR2022 MS2DG-Net

“MS2DG-Net: Progressive Correspondence Learning via Multi Sparse Semantic Dynamic Graph”的研究论文，根据稀疏语义相似性设计了一个基于多尺度稀疏语义动态图的网络来寻找高质量的特征匹配，简称MS2DG-Net。实验表明，本文所提出的 MS2DG-Net 在公开数据集的误匹配剔除和相机姿态估计任务等方面具有明显的优势。

已开源；

https://github.com/changcaiyang/MS2DG-Net

下载地址：https://drive.google.com/drive/folders/1T5qq9XETEL5kQOcMzL3R4XMfTLtcvYUl

CVPR2022：我校陈日清教授团队在计算机视觉与人工智能领域方面研究取得重要进展

使用 OpenCV 中的蛮力(Brute-Force)匹配和 FLANN 匹配。

1：Brute-Force 匹配的基础
蛮力匹配器是很简单的。首先在第一幅图像中选取一个关键点然后依次与第二幅图像的每个关键点进行(描述符)距离测试,最后返回距离最近的关键点。
对于 BF 匹配器,我们首先要使用 cv2.BFMatcher() 创建一个 BF-Matcher 对象。它有两个可选参数。第一个是 normType。它是用来指定要使用的距离测试类型。默认值为 cv2.Norm_L2。这很适合 SIFT 和 SURF 等(c2.NORM_L1 也可以)。对于使用二进制描述符的 ORB,BRIEF,BRISK算法等,要使用 cv2.NORM_HAMMING,这样就会返回两个测试对象之间的汉明距离。如果 ORB 算法的参数设置为 V T A_K==3 或 4,normType就应该设置成 cv2.NORM_HAMMING2。
第二个参数是布尔变量 crossCheck,默认值为 False。如果设置为True,匹配条件就会更加严格,只有到 A 中的第 i 个特征点与 B 中的第 j 个特征点距离最近,并且 B 中的第 j 个特征点到 A 中的第 i 个特征点也是最近(A 中没有其他点到 j 的距离更近)时才会返回最佳匹配(i,j)。也就是这两个特征点要互相匹配才行。这样就能提供统一的结果,这可以用来替代 D.Lowe在 SIFT 文章中提出的比值测试方法。
BFMatcher 对象具有两个方法, BFMatcher.match() 和 BFMatcher.knnMatch()。第一个方法会返回最佳匹配。第二个方法为每个关键点返回 k 个最佳匹配(降序排列之后取前 k 个),其中 k 是由用户设定的。如果除了匹配之外还要做其他事情的话可能会用上(比如进行比值测试)。
就像使用 cv2.drawKeypoints() 绘制关键点一样, 我们可以使用cv2.drawMatches() 来绘制匹配的点。它会将这两幅图像先水平排列,然后在最佳匹配的点之间绘制直线(从原图像到目标图像)。如果前面使用的是 BF-Matcher.knnMatch(),现在我们可以使用函数 cv2.drawMatchsKnn为每个关键点和它的 k 个最佳匹配点绘制匹配线。如果 k 等于 2,就会为每个关键点绘制两条最佳匹配直线。如果我们要选择性绘制话就要给函数传入一个掩模。

2：FLANN 匹配器
FLANN 是快速最近邻搜索包(Fast_Library_for_Approximate_Nearest_Neighbors)的简称。它是一个对大数据集和高维特征进行最近邻搜索的算法的集合,而且这些算法都已经被优化过了。在面对大数据集时它的效果要好于 BFMatcher。
使用 FLANN 匹配,我们需要传入两个字典作为参数。这两个用来确定要使用的算法和其他相关参数等。第一个是 IndexParams。index p arams = dict(algorithm = F LAN N I N DEX K DT REE, trees = 5)
各种不同算法的信息可以在 FLANN 文档中找到。
第二个字典是 SearchParams。用它来指定递归遍历的次数。值越高结果越准确, 但是消耗的时间也越多。如果你想修改这个值, 传入参数:search p arams = dict(checks = 100)。

使用一个查询图像,在其中找到一些特征点(关键点),我们又在另一幅图像中也找到了一些特征点,最后对这两幅图像之间的特征点进行匹配。简单来说就是:我们在一张杂乱的图像中找到了一个对象(的某些部分)的位置。这些信息足以帮助我们在目标图像中准确的找到(查询图像)对象。
为了达到这个目的可以使用 calib3d 模块中的 cv2.findHomography()函数。如果将这两幅图像中的特征点集传给这个函数,他就会找到这个对象的透视图变换。然后就可以使用函数cv2.perspectiveTransform() 找到这个对象了。至少要 4 个正确的点才能找到这种变换。
我们已经知道在匹配过程可能会有一些错误,而这些错误会影响最终结果。为了解决这个问题,算法使用 RANSAC 和 LEAST_MEDIAN(可以通过参数来设定)。所以好的匹配提供的正确的估计被称为 inliers,剩下的被称为outliers。cv2.findHomography() 返回一个掩模,这个掩模确定了 inlier 和outlier 点。