【实验7 基于FlannBasedMatcher的SIFT实现】

1 FlannBasedMatcher匹配
FLANN(Fast_Library_for_Approximate_Nearest_Neighbors)快速最近邻搜索包，它是一个对大数据集和高维特征进行最近邻搜索的算法的集合,而且这些算法都已经被优化过了。在面对大数据集时它的效果要好于 BFMatcher。
经验证，FLANN比其他的最近邻搜索软件快10倍。使用 FLANN 匹配,我们需要传入两个字典作为参数。这两个用来确定要使用的算法和其他相关参数等。
第一个是 IndexParams。
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5) 。
这里使用的是KTreeIndex配置索引，指定待处理核密度树的数量（理想的数量在1-16）。
第二个字典是SearchParams。
search_params = dict(checks=100)用它来指定递归遍历的次数。值越高结果越准确，但是消耗的时间也越多。实际上，匹配效果很大程度上取决于输入。
5kd-trees和50checks总能取得合理精度，而且短时间完成。在之下的代码中，丢弃任何距离大于0.7的值，则可以避免几乎90%的错误匹配，但是好的匹配结果也会很少。

FLANN 参数设计

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params,search_params)

2 SIFT算法

SIFT (Scale-Invariant Feature Transform) 是一种计算机视觉算法，用于检测和描述图像中的局部特征。SIFT 算法由 David Lowe 在 1999 年提出。

2.1 主要目的
SIFT 算法的主要目标是提取图像中的关键点，这些关键点在不同尺度和旋转下都具有不变性。它在图像中寻找具有稳定特征的局部极值点，并计算这些关键点的描述子。这些描述子可以用于在不同图像之间进行特征匹配，从而实现图像识别、目标跟踪等应用。

2.2 主要步骤
SIFT 算法的主要步骤如下：

尺度空间极值检测（Scale-space extrema detection）：通过在图像的不同尺度上应用高斯差分（Gaussian difference-of-Gaussian）进行滤波，检测图像中的极值点。这些极值点通常对应于图像中的边缘、角点等关键位置。

关键点定位（Keypoint localization）：通过在尺度空间中对极值点进行精确定位，排除低对比度和边缘响应不明确的关键点。SIFT 算法使用了尺度空间的极值点的曲率来过滤掉不稳定的关键点。

方向分配（Orientation assignment）：为每个关键点分配一个主方向，用于后续计算关键点的描述子。这样可以使描述子对旋转变换具有不变性。

关键点描述（Descriptor computation）：根据关键点的尺度和方向，计算关键点周围区域的描述子。描述子通常使用关键点周围的梯度方向直方图表示，具有一定的独特性和不变性。

由于OpenCV库中已经有对应的SIFT算法接口，直接调用即可，如下python代码：

sift = cv2.xfeatures2d.SIFT_create()

本实验采取基于FlannBasedMatcher的SIFT，实现对图像（rabbit）的拼接

图1-rabbit原图

	图2-rabbit1(左图）								

图3-rabbit2(右图)

具体代码如下：

import numpy as np
import cv2
from matplotlib import pyplot as plt
def cv_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

#imageA = cv2.imread("/home/lake/teacher.WG/first/104.bmp")
imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
#imageA = cv2.imread("/home/lake/图片/104.bmp")#细胞图像匹配不足，无法拼接
imageA=cv2.resize(imageA,(141,180))
#imageA = cv2.resize(imageA,(0,0),fx=0.4,fy=0.4)

imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageB = cv2.imread("/home/lake/图片/107.bmp")
#imageB = cv2.imread("/home/lake/teacher.WG/first/107.bmp")
imageB=cv2.resize(imageB,(141,180))
#imageB = cv2.resize(imageB,(0,0),fx=0.4,fy=0.4)

grayA = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY)
grayB = cv2.cvtColor(imageB, cv2.COLOR_BGR2GRAY)


# 建立SIFT生成器
descriptor = cv2.xfeatures2d.SIFT_create()
# 检测SIFT特征点，并计算描述子
kpsA, featuresA = descriptor.detectAndCompute(grayA, None)
print(np.array(kpsA).shape)
print(np.array(featuresA).shape)
kpsB, featuresB = descriptor.detectAndCompute(grayB, None)

#画出特征点，并显示为红色圆圈
img3 = cv2.drawKeypoints(imageA,kpsA,imageA,color=(255,0,255)) 
img4 = cv2.drawKeypoints(imageB,kpsB,imageB,color=(255,0,255)) 
hmerge = np.hstack((img3, img4)) #水平拼接
cv2.imshow("point", hmerge) #拼接显示为gray
cv2.waitKey(0)

# 将结果转换成NumPy数组
kpsA = np.float32([kpA.pt for kpA in kpsA])
kpsB = np.float32([kpB.pt for kpB in kpsB])
print(kpsA.shape)
#重载图像使后续拼接的图像没有红圈显示

imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageA = cv2.imread("/home/lake/图片/104.bmp")
#imageB = cv2.imread("/home/lake/图片/107.bmp")

# 建立匹配器
# FLANN 参数设计
FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params,search_params)
# 使用flann检测来自A、B图的SIFT特征匹配对，K=2
rawMatches = flann.knnMatch(featuresA, featuresB, k=2)
matchesMask = [[0,0] for i in range(len(rawMatches))]
print(np.array(rawMatches).shape)
matches = []
for m, n in rawMatches:
    if m.distance < 0.75 * n.distance:
        matches.append((m.trainIdx, m.queryIdx))
print(np.array(matches).shape)
if len(matches) > 4:
    # 获取匹配对的点坐标
    ptsA = np.float32([kpsA[i] for (_, i) in matches])
    print(ptsA.shape)
    ptsB = np.float32([kpsB[i] for (i, _) in matches])

    # 计算视角变换矩阵
    H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, 4.0)
    print(H.shape)
    print(status.shape)

    # 将图片A进行视角变换，result是变换后图片
    hA, wA = imageA.shape[:2]
    print((hA, wA))
    hB, wB = imageB.shape[:2]
    print((hB, wB))
    result = cv2.warpPerspective(imageA, H, (wA+wB, hA))

    # 可视化
    vis = np.zeros((hA, wA+wB, 3), dtype=np.uint8)
    vis[0:hA, 0:wA] = imageA
    vis[0:hB, wA:] = imageB
    # 联合遍历，画出匹配对
    for ((trainIdx, queryIdx), s) in zip(matches, status):
        # 当点对匹配成功时，画到可视化图上
        if s == 1:
            # 画出匹配对
            ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1]))
            ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1]))
            cv2.line(vis, ptA, ptB, (0, 255, 0), 1)
    cv_show("Keypoint Matches", vis)
    cv2.waitKey(0)

    cv_show('result', result)
    cv2.waitKey(0)
    # 将图片B传入result图片最左端
    result[:hB, :wB] = imageB
    cv_show('result', result)
    #调整拼接后图像显示，宽度为两张拼接之前图像总和
    result=cv2.resize(imageB,(1000,418))
    else:
    print("匹配不足，无法拼接")

参考：
Opencv之全景拼接
应用OpenCV和Python进行SIFT算法的实现
详解SIFT、SURF和ORB特征点检测和描述算法

实验结果：