十五天掌握OpenCV——特征匹配

学习目标

1. 在图像间进行特征匹配；
2. 使用OpenCV中的蛮力(Brute-Force)匹配和FLANN匹配。

蛮力匹配基础

1. BF匹配器：先在第一幅图像选取一关键点，再依次与第二幅图像的每个关键点进行距离测试，最后返回距离最近的关键点。
2. 使用cv2.BFMatcher()创建一个BF-Matcher对象。对象有两个可选参数，一个是normType，一个是布尔变量crossCheck,默认值False。两个方法，BFMatcher.match()返回最佳匹配，BFMatcher.knnMatch() 为每个关键点返回k(自定)个最佳匹配。
3. normType：指定要使用的距离测试类型。默认值cv2.Norm_L2，适于SIFT和SURF算法。cv2.NORM_HAMMING适于使用二进制描述符的ORB、BRIEF、BRISK算法，从而返回两个测试对象之间的汉明距离。
   若ORB算法参数VTA_K==3或4，normType=cv2.NORM_HAMMING2.
4. crossCheck：设为True则匹配条件更严格。A中的第i个特征点与B中的第j个特征点彼此互为最近距离，才会返回最佳匹配(i,j)。
5. cv2.drawMatches() ——解释：绘制匹配的点。先将两幅图像水平排列，再在最佳匹配点之间绘制直线。
6. 前面使用BF-Matcher.knnMatch()，后面使用cv2.drawMatchesKnn() 为每个关键点和其k个最佳匹配点绘制匹配线。k=2时，为每个关键点绘制两条最佳匹配直线。传入一个掩模可以选择性绘制。

对ORB描述符进行蛮力匹配

1. 设置查询图像和目标图像；
2. 使用特征匹配的方法在目标图像中寻找查询图像的位置；
3. 使用ORB描述符进行特征匹配；
4. 加载图像计算描述符；
5. 创建一个BFMatcher() 对象，然后使用Matcher.match() 方法获得两幅图像的最佳匹配；
6. 将匹配结果按特征点之间的距离进行降序排列，从而把最佳匹配排前面；
7. 绘制前十个匹配。

代码演示

#coding=utf-8
import cv2
import numpy as np
from matplotlib import pyplot as plt

img1=cv2.imread('./image2/27-1.jpg',0)
img2=cv2.imread('./image2/123.jpg',0)

orb=cv2.ORB()

kp1,des1=orb.detectAndCompute(img1,None)
kp2,des2=orb.detectAndCompute(img2,None)

bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)
matches=bf.match(des1,des2)

matches=sorted(matches,key=lambda x:x.distance)  #按距离排序

匹配器对象

matches=bf.match(des1,des2)返回值是一个DMatch对象列表。
DMatch对象具有下列属性：

1. MActch.distance：描述符之间距离，取得越小越好。
2. DMatch.trainIdx：目标图像中描述符的索引。
3. DMatch.queryIdx：查询图像中描述符的索引。
4. DMatch.imgIdx：目标图像的索引。

对SIFT描述符进行蛮力匹配和比值测试

使用BFMatcher.knnnMatch() 获得k对最佳匹配。

代码演示

#coding=utf-8
import cv2
import numpy as np
from matplotlib import pyplot as plt

img1=cv2.imread('./image2/mario.jpg',0)
img2=cv2.imread('./image2/coin.jpg',0)

sift=cv2.SIFT()  #初始化SIFT探测器

kp1,des1=sift.detectAndCompute(img1,None)
kp2,des2=sift.detectAndCompute(img2,None)

bf=cv2.BFMatcher()
matches=bf.knnMatch(des1,des2,k=2)  #带具体参数的BF匹配器

good=[]
for m,n in matches:
    if m.distance < 0.75*n.distance:
        good.append([m])
"""apply ratio test 应用比值判别法
比值测试，首先获取与A距离最近的点B（最近）和C（次近）
只有当B/C小于阈值（0.75）时才被认为是匹配的。当假设匹配是一一对应时，匹配的理想距离是0。"""

img3=cv2.drawMatchesKnn(img1,kp1,img2,kp2,good[:10],flags=2)

plt.imshow(img3)
plt.show()

FLANN匹配器

快速最近邻搜索包(Fast_Library_for_Approximate_Nearest_Neighbors)：对大数据集和高维特征进行最近邻搜索的算法集合且优化过。
效果好于BFMatcher。

1. FLANN匹配调用两个字典作为参数，以确定要使用的算法和其他参数。一个是IndexParams，一个是SearchParams。
2. IndexParams：在SIFT和SURF中，indexparams=dict(algorithm=FLANNINDEXKDTREE,trees=5)
3. SearchParams：指定递归遍历的次数。值越高结果越准确，消耗时间越多。通过 searchparams=dict(checks=100) 修改值。

代码演示

#coding=utf-8
import cv2
import numpy as np
from matplotlib import pyplot as plt

img1=cv2.imread('./image2/mario.jpg',0)
img2=cv2.imread('./image2/coin.jpg',0)

sift=cv2.SIFT()

kp1,des1=sift.detectAndCompute(img1,None)
kp2,des2=sift.detectAndCompute(img2,None)

FLANN_INDEX_KDTREE=0
index_params=dict(algorithm=FLANN_INDEX_KDTREE,trees=5)
search_params=dict(checks=50)

flann=cv2.FlannBaseMatcher(index_params,search_params)

matches=flann.knnMatch(des1,des2,k=2)

matchesMask=[[0,0] for i in range(len(matches))]

for i,(m,n) in enumerate(matches):
    if m.distance < 0.7*n.distance:
        matchesMask[i]=[1,0]

draw_params=dict(matchColor=(0,255,0),
                singlePointColor=(255,0,0),
                matchesMask=matchesMask,
                flags=0)

img3=cv2.drawMatchesKnn(img1,kp1,img2,kp2,matches,None,**draw_params)

plt.imshow(img3)
plt.show()