【进阶OpenCV】 （4）--图像拼接

图像拼接

图像拼接是一项将多张有重叠部分的图像（这些图像可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术。

主要过程：找到特征匹配点，然后进行透视变换操作，模拟了人眼或相机镜头观看三维空间物体时的透视效果，从而能够改变图像的视角和形状，使得两个图片可以完全拼接在一起。

1. 读取图片

def cv_show(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)
"""-----读取拼接图片-----"""
imageA = cv2.imread("t1.jpg")
cv_show('imageA',imageA)
imageB = cv2.imread("t2.jpg")
cv_show('imageB',imageB)

2. 计算图片特征点及描述符

def detectAndDescribe(image):
    gray = cv2.cvtColor(image,cv2.COLOR_RGB2GRAY) # 将彩色图片转化为灰度图
    descriptor = cv2.SIFT_create() # 建立SIFT生成器
    # 检测SIFT特征点，并计算描述符，第二个参数为掩膜
    (kps,des) = descriptor.detectAndCompute(gray,None)
    # 将结果转化成Numoy数组
    kps_float = np.float32([kp.pt for kp in kps])
    # kp.pt包含两个值，分别是关键点在图像中的x和y坐标，这些坐标通常时浮点数，可以精确地描述关键点在图像中的位置
    return (kps,kps_float,des) # 返回特征点集，及对应的描述特征

"""-----计算图片特征点及描述符-----"""
(kpsA,kps_floatA,desA) = detectAndDescribe(imageA)
(kpsB,kps_floatB,desB) = detectAndDescribe(imageB)

3. 建立暴力匹配器

"""-----建立暴力匹配器BFMatcher,在匹配大型训练集合时使用FlannBasedMatcher速度更快-----"""
matcher = cv2.BFMatcher()

4. 特征匹配

方法：关键点A与找到的两个关键点 X、Y的欧氏距离分别 d1、d2，且d1<d2。

欧氏距离(关键点A，关键点X)=d1。欧氏距离(关键点A，关键点Y)=d2。

（1）d1<d2，比值较大:可能不是匹配点，通常是由噪声引起的。

（2）d1<d2，比值较小:是匹配点。

• 函数：

--knnMatch(queryDescriptors,trainDescriptors,k,mask=None,compactResult = None)
使用KNN检测来自A、B图的SIFT特征匹配对，参数说明：
queryDescriptors：匹配图像A的描述符
trainDescriptors：匹配图像B的描述符
k：最佳匹配的描述符个数，一般k=2

• 返回值：

--返回的数据结构描述：
distance：匹配的特征点描述符的欧氏距离，数值越小也就说明两个特征点越相近。
queryIdx：测试图像的特征点描述符的下标（第几个特征点描述符），同时也是描述符对应特征点的下表
trainIdx：样本图像的特征点描述符下标，同时也是描述符对应特征点的下标。

• 代码应用:

rawMatches = matcher.knnMatch(desB,desA,2)
good = []
matches = []
for m in rawMatches:
    # 当最近距离跟次近距离的比值小于0.65时，保留此对匹配
    if len(m) == 2 and m[0].distance < 0.65 * m[1].distance:
        good.append(m)
        # 存储两个点在featureA,featureB中的索引值
        matches.append((m[0].trainIdx,m[0].queryIdx))
print(len(good))
print(matches)

vis = cv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show("keypoint Matchs",vis)

5. 透视变换

透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，但仍能保持承影面上投影几何图形不变的变换。它是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。

• 函数：

-- 计算透视变换矩阵
findHomography(srcPoints,disPoints,method=None,ransacReprojThreshold=None,mask=None,maxIters=None,confidence=None)
计算视角变换矩阵,透视变换函数,与cv2.getPerspectiveTransform()的区别在于可多个数据点变换
参数:
-- srcPoints:图片A的匹配点坐标
-- disPoints:图片B的匹配点坐标
-- method:计算变换矩阵的方法
   0 - 使用所有的点,最小二乘
   RANSAC - 基于随机样本一致性
   LMEDS - 最小中值
   RHO - 基于渐进样本一致性
-- ransacReprojThreshold:最大允许重投影错误阈值,该参数只有在method参数为RANSAC与RHO的时候启用,默认为3
返回值:H为变换矩阵,mask时掩膜标志,指示哪些点对时内点,哪些是外点.内点:指那些与估计的模型非常接近的数据点,通常是正确匹配或真实数据

• 代码应用：

if len(matches) > 4: # 当筛选后的匹配对大于4时，计算视角变换矩阵
    # 获取匹配对的点坐标
    ptsA = np.float32([kps_floatA[i] for (i, _) in matches]) # matches是通过阈值筛选之后的特征点对象
    ptsB = np.float32([kps_floatB[i] for (_, i) in matches]) # kps_floatA是图片A中的全部特征点坐标
    (H,mask) = cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)
else:
    print("图片未找到4个以上的匹配点")
    sys.exit()
result = cv2.warpPerspective(imageB,H,(imageB.shape[1] + imageA.shape[1],imageB.shape[0]))
cv_show('resultB',result)

6. 图像拼接

# 将图片A传入result图片最左端
result[0:imageA.shape[0],0:imageA.shape[1]] = imageA
cv_show("result",result)

总结

本篇介绍了：

如何通过计算关键点以及透视变换的矩阵将两个不同视角的图片进行拼接，使得它们能够完整协和的展示出来。