【实验6 基于BFmatcher的SIFT实现】

1 knnBFmatcher匹配
BFmatcher（Brute-Force Matching）暴力匹配，应用BFMatcher.knnMatch( )函数来进行核心的匹配，knnMatch（k-nearest neighbor classification）k近邻分类算法。

kNN算法则是从训练集中找到和新数据最接近的k条记录，然后根据他们的主要分类来决定新数据的类别。该算法涉及3个主要因素：训练集、距离或相似的衡量、k的大小。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

BFMatcher解决匹配

bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)

2 SIFT算法
SIFT (Scale-Invariant Feature Transform) 是一种计算机视觉算法，用于检测和描述图像中的局部特征。SIFT 算法由 David Lowe 在 1999 年提出。

2.1 主要目的
SIFT 算法的主要目标是提取图像中的关键点，这些关键点在不同尺度和旋转下都具有不变性。它在图像中寻找具有稳定特征的局部极值点，并计算这些关键点的描述子。这些描述子可以用于在不同图像之间进行特征匹配，从而实现图像识别、目标跟踪等应用。

2.2 主要步骤
SIFT 算法的主要步骤如下：

尺度空间极值检测（Scale-space extrema detection）：通过在图像的不同尺度上应用高斯差分（Gaussian difference-of-Gaussian）进行滤波，检测图像中的极值点。这些极值点通常对应于图像中的边缘、角点等关键位置。

关键点定位（Keypoint localization）：通过在尺度空间中对极值点进行精确定位，排除低对比度和边缘响应不明确的关键点。SIFT 算法使用了尺度空间的极值点的曲率来过滤掉不稳定的关键点。

方向分配（Orientation assignment）：为每个关键点分配一个主方向，用于后续计算关键点的描述子。这样可以使描述子对旋转变换具有不变性。

关键点描述（Descriptor computation）：根据关键点的尺度和方向，计算关键点周围区域的描述子。描述子通常使用关键点周围的梯度方向直方图表示，具有一定的独特性和不变性。

由于OpenCV库中已经有对应的SIFT算法接口，直接调用即可，如下python代码：

sift = cv2.xfeatures2d.SIFT_create()

本实验采取基于BFmatcher的SIFT，实现对图像（rabbit）的拼接
图1-rabbit原图

	图2-rabbit1(左图）								

图3-rabbit2(右图)

具体代码如下：

import numpy as np
import cv2
from matplotlib import pyplot as plt
def cv_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

#imageA = cv2.imread("/home/lake/teacher.WG/first/104.bmp")
imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
#imageA = cv2.imread("/home/lake/图片/104.bmp")#细胞图像匹配不足无法拼接

imageA=cv2.resize(imageA,(141,180))
#imageA = cv2.resize(imageA,(0,0),fx=0.4,fy=0.4)

imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageB = cv2.imread("/home/lake/图片/107.bmp")
#imageB = cv2.imread("/home/lake/teacher.WG/first/107.bmp")
imageB=cv2.resize(imageB,(141,180))
#imageB = cv2.resize(imageB,(0,0),fx=0.4,fy=0.4)

grayA = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY)
grayB = cv2.cvtColor(imageB, cv2.COLOR_BGR2GRAY)


# 建立SIFT生成器
descriptor = cv2.xfeatures2d.SIFT_create()
# 检测SIFT特征点，并计算描述子
kpsA, featuresA = descriptor.detectAndCompute(grayA, None)
print(np.array(kpsA).shape)
print(np.array(featuresA).shape)
kpsB, featuresB = descriptor.detectAndCompute(grayB, None)

#画出特征点，并显示为红色圆圈
img3 = cv2.drawKeypoints(imageA,kpsA,imageA,color=(255,0,255)) 
img4 = cv2.drawKeypoints(imageB,kpsB,imageB,color=(255,0,255)) 
hmerge = np.hstack((img3, img4)) #水平拼接
cv2.imshow("point", hmerge) #拼接显示为gray
cv2.waitKey(0)

# 将结果转换成NumPy数组
kpsA = np.float32([kpA.pt for kpA in kpsA])
kpsB = np.float32([kpB.pt for kpB in kpsB])
print(kpsA.shape)
#重载图像使后续拼接的图像没有红圈显示

imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageA = cv2.imread("/home/lake/图片/104.bmp")
#imageB = cv2.imread("/home/lake/图片/107.bmp")

# 建立暴力匹配器
matcher = cv2.BFMatcher()
# 使用KNN检测来自A、B图的SIFT特征匹配对，K=2
rawMatches = matcher.knnMatch(featuresA, featuresB, k=2)
print(np.array(rawMatches).shape)
matches = []
for m, n in rawMatches:
    if m.distance < 0.75 * n.distance:
        matches.append((m.trainIdx, m.queryIdx))
print(np.array(matches).shape)
if len(matches) > 4:
    # 获取匹配对的点坐标
    ptsA = np.float32([kpsA[i] for (_, i) in matches])
    print(ptsA.shape)
    ptsB = np.float32([kpsB[i] for (i, _) in matches])

    # 计算视角变换矩阵
    H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, 4.0)
    print(H.shape)
    print(status.shape)

    # 将图片A进行视角变换，result是变换后图片
    hA, wA = imageA.shape[:2]
    print((hA, wA))
    hB, wB = imageB.shape[:2]
    print((hB, wB))
    result = cv2.warpPerspective(imageA, H, (wA+wB, hA))

    # 可视化
    vis = np.zeros((hA, wA+wB, 3), dtype=np.uint8)
    vis[0:hA, 0:wA] = imageA
    vis[0:hB, wA:] = imageB
    # 联合遍历，画出匹配对
    for ((trainIdx, queryIdx), s) in zip(matches, status):
        # 当点对匹配成功时，画到可视化图上
        if s == 1:
            # 画出匹配对
            ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1]))
            ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1]))
            cv2.line(vis, ptA, ptB, (0, 255, 0), 1)
    cv_show("Keypoint Matches", vis)
    cv2.waitKey(0)

    cv_show('result', result)
    cv2.waitKey(0)
    # 将图片B传入result图片最左端
    result[:hB, :wB] = imageB
    cv_show('result', result)
    #调整拼接后图像显示，宽度为两张拼接之前图像总和
    result=cv2.resize(imageB,(1000,418))

else:
    print("匹配不足，无法拼接")

!!！左右图像放置位置需要注意原图右边放前面，左边放后面，不然拼接无效。
cv2.drawKeypoints()函数的第一个参数应该是一个图像，第二个参数应该是一个关键点列表，第三个参数应该是一个输出图像。
Traceback (most recent call last): File
“/home/lake/teacher.WG/test.py”, line 10, in
imageA=cv2.resize(imageA,(141,180)) cv2.error: OpenCV(3.4.3)
/home/lake/teacher.WG/opencv-3.4.3/modules/imgproc/src/resize.cpp:4044:
error: (-215:Assertion failed) !ssize.empty() in function ‘resize’
图片路径写错了

##函数介绍
H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, reprojThresh)
输入参数：
ptsA表示图像A关键点的坐标
ptsB图像B关键点的坐标
cv2.RANSAC指使用随机抽样一致性算法来进行迭代
reproThresh表示每次抽取样本的个数
输出参数：
H：单应性矩阵。
status：是布尔值，如果某点经过随机抽样一致性算法后符合要求则为1，否则为0。
参考：
Opencv之全景拼接
应用OpenCV和Python进行SIFT算法的实现
详解SIFT、SURF和ORB特征点检测和描述算法

实验结果：