实验11 基于FlannBasedMatcher的ORB实现

1 FlannBasedMatcher匹配
FLANN(Fast_Library_for_Approximate_Nearest_Neighbors)快速最近邻搜索包，它是一个对大数据集和高维特征进行最近邻搜索的算法的集合,而且这些算法都已经被优化过了。在面对大数据集时它的效果要好于 BFMatcher。
经验证，FLANN比其他的最近邻搜索软件快10倍。使用 FLANN 匹配,我们需要传入两个字典作为参数。这两个用来确定要使用的算法和其他相关参数等。
第一个是 IndexParams。
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5) 。
这里使用的是KTreeIndex配置索引，指定待处理核密度树的数量（理想的数量在1-16）。
第二个字典是SearchParams。
search_params = dict(checks=100)用它来指定递归遍历的次数。值越高结果越准确，但是消耗的时间也越多。实际上，匹配效果很大程度上取决于输入。
5kd-trees和50checks总能取得合理精度，而且短时间完成。在之下的代码中，丢弃任何距离大于0.7的值，则可以避免几乎90%的错误匹配，但是好的匹配结果也会很少。

FLANN 参数设计

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params,search_params)

2 ORB算法
ORB（Oriented FAST and Rotated BRIEF）也是一种目前常用的计算机视觉算法，用于图像特征提取和描述。它是在FAST角点检测器和BRIEF描述子算法的基础上进行改进的。
详细的实现版本也可参考如下的ORB-SLAM2中的ORBextractor。
2.1 主要步骤

`ORB算法的主要步骤如下：

FAST角点检测：使用FAST（Features from Accelerated Segment Test）算法检测图像中的角点。FAST算法通过比较像素点与其周围邻域像素的灰度值来判断是否为角点。

构建金字塔：为了对不同尺度下的图像进行处理，ORB算法使用图像金字塔。通过对原始图像进行不断的降采样，得到一系列尺度不同的图像。

计算角点的方向：为了提取具有旋转不变性的特征，ORB算法使用灰度质心法来计算角点的方向。它计算角点周围像素的灰度质心，然后根据质心的位置计算角点的方向。

构建BRIEF描述子：使用BRIEF（Binary Robust Independent Elementary Features）算法构建特征描述子。BRIEF算法通过在角点周围选择一组特定的像素点对，并比较它们的灰度值来生成一个二进制编码，用于描述特征点的特征。

特征点匹配：使用描述子之间的汉明距离（Hamming Distance）来度量两个特征点的相似性。通过比较特征点的描述子，找到最佳匹配的特征点。

由于OpenCV库中已经有对应的ORB算法接口，直接调用即可，如下python代码：

创建ORB对象

orb = cv2.ORB_create()

检测关键点和计算描述子

keypoints, descriptors = orb.detectAndCompute(image, None)

参考：
Opencv之全景拼接
应用OpenCV和Python进行SIFT算法的实现
详解SIFT、SURF和ORB特征点检测和描述算法

本实验采取基于FlannBasedMatcher的ORB实现，实现对图像（rabbit）的拼接

图1-rabbit原图

	图2-rabbit1(左图）									图3-rabbit2(右图)

具体代码如下：

import numpy as np
import cv2
from matplotlib import pyplot as plt
def cv_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

#imageA = cv2.imread("/home/lake/teacher.WG/first/104.bmp")
imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
#imageA = cv2.imread("/home/lake/图片/104.bmp")#细胞图像匹配不足，无法拼接
imageA=cv2.resize(imageA,(141,180))
#imageA = cv2.resize(imageA,(0,0),fx=0.4,fy=0.4)

imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageB = cv2.imread("/home/lake/图片/107.bmp")
#imageB = cv2.imread("/home/lake/teacher.WG/first/107.bmp")
imageB=cv2.resize(imageB,(141,180))
#imageB = cv2.resize(imageB,(0,0),fx=0.4,fy=0.4)

grayA = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY)
grayB = cv2.cvtColor(imageB, cv2.COLOR_BGR2GRAY)


# 建立ORB生成器
descriptor = cv2.xfeatures2d.SURF_create()
# 检测ORB特征点，并计算描述子
kpsA, featuresA = descriptor.detectAndCompute(grayA, None)
print(np.array(kpsA).shape)
print(np.array(featuresA).shape)
kpsB, featuresB = descriptor.detectAndCompute(grayB, None)

#画出特征点，并显示为红色圆圈
img3 = cv2.drawKeypoints(imageA,kpsA,imageA,color=(255,0,255)) 
img4 = cv2.drawKeypoints(imageB,kpsB,imageB,color=(255,0,255)) 
hmerge = np.hstack((img3, img4)) #水平拼接
cv2.imshow("point", hmerge) #拼接显示为gray
cv2.waitKey(0)

# 将结果转换成NumPy数组
kpsA = np.float32([kpA.pt for kpA in kpsA])
kpsB = np.float32([kpB.pt for kpB in kpsB])
print(kpsA.shape)
#重载图像使后续拼接的图像没有红圈显示

imageA = cv2.imread("/home/lake/图片/rabbit2.png")#左右图像位置相反放置
imageB = cv2.imread("/home/lake/图片/rabbit1.png")
#imageA = cv2.imread("/home/lake/图片/104.bmp")
#imageB = cv2.imread("/home/lake/图片/107.bmp")
#imageA = cv2.imread("/home/lake/teacher.WG/first/104.bmp")
#imageB = cv2.imread("/home/lake/teacher.WG/first/107.bmp")
# 建立匹配器
# FLANN 参数设计
FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params,search_params)
# 使用flann检测来自A、B图的SIFT特征匹配对，K=2
rawMatches = flann.knnMatch(featuresA, featuresB, k=2)
matchesMask = [[0,0] for i in range(len(rawMatches))]
print(np.array(rawMatches).shape)
matches = []
for m, n in rawMatches:
    if m.distance < 0.75 * n.distance:
        matches.append((m.trainIdx, m.queryIdx))
print(np.array(matches).shape)
if len(matches) > 4:
    # 获取匹配对的点坐标
    ptsA = np.float32([kpsA[i] for (_, i) in matches])
    print(ptsA.shape)
    ptsB = np.float32([kpsB[i] for (i, _) in matches])

    # 计算视角变换矩阵
    H, status = cv2.findHomography(ptsA, ptsB, cv2.RANSAC, 4.0)
    print(H.shape)
    print(status.shape)

    # 将图片A进行视角变换，result是变换后图片
    hA, wA = imageA.shape[:2]
    print((hA, wA))
    hB, wB = imageB.shape[:2]
    print((hB, wB))
    result = cv2.warpPerspective(imageA, H, (wA+wB, hA))

    # 可视化
    vis = np.zeros((hA, wA+wB, 3), dtype=np.uint8)
    vis[0:hA, 0:wA] = imageA
    vis[0:hB, wA:] = imageB
    # 联合遍历，画出匹配对
    for ((trainIdx, queryIdx), s) in zip(matches, status):
        # 当点对匹配成功时，画到可视化图上
        if s == 1:
            # 画出匹配对
            ptA = (int(kpsA[queryIdx][0]), int(kpsA[queryIdx][1]))
            ptB = (int(kpsB[trainIdx][0]) + wA, int(kpsB[trainIdx][1]))
            cv2.line(vis, ptA, ptB, (0, 255, 0), 1)
    cv_show("Keypoint Matches", vis)
    cv2.waitKey(0)

    cv_show('result', result)
    cv2.waitKey(0)
    # 将图片B传入result图片最左端
    result[:hB, :wB] = imageB
    cv_show('result', result)
    #调整拼接后图像显示，宽度为两张拼接之前图像总和
    result=cv2.resize(imageB,(299,180))
    else:
    print("匹配不足，无法拼接")

实验结果：