2021-04-25

最新推荐文章于 2022-07-17 22:18:53 发布

liong66

最新推荐文章于 2022-07-17 22:18:53 发布

阅读量161

点赞数

文章标签：计算机视觉 python

本文链接：https://blog.csdn.net/qq_44809589/article/details/116132968

版权

文章目录

图像拼接
特征点匹配
匹配错误的特征点干扰
消除干扰
处理匹配错误的特征点
使用RANSAC图片匹配
总结

图像拼接

图像拼接是将两张或两张以上、且两两图像之间具有相同的特征点（SIFT特征点）的图像通过特征匹配拼接在一起。手机上照相机的全景照相就是图像拼接的一个应用

特征点匹配

匹配错误的特征点干扰

在进行图像匹配之前都需要找出输入的两张图片（或者多张）的特征点（SIFT特征点）然后再匹配上这些特征点，但是这可能会出现一个问题，如果图像的噪声太大，就会使得特征点的匹配发生了偏差，匹配到了错误的点，这种不好的匹配效果，会对后面的图像拼接产生很大的影响，如下图
在这里插入图片描述

消除干扰

要消除特征点的噪声，我们可以拟合特征点，找到一个合适的拟合线，然后消除噪声点。

下面简单看几种曲线的拟合

1.直线拟合

假设空间中有一些已知的点，要将这些点拟合出一条直线，我们不难想到最小二乘法，但是我们这里用的不是最小二乘法。我们在最开始先设定一个阈值，然后在空间中不断找两个随机点，接着构造过这两个点的直线，计算在这条线上的点的数量（inliers），如果在这条线上的点的数量达到了指定的阈值，我们就把这条直线当作是拟合的直线。

2.圆拟合

我们知道了可以不断的随机找两个点去拟合直线，那如果我们要拟合圆该怎么做。两点可以确定一条直线，那么三点就可以确定一个圆，所以我们就可以随机找三个点，确定经过这三个点的圆，然后计算这个圆上的点的数量，达到指定阈值就可以确定要拟合的圆.

3.曲线拟合

如果要拟合一条曲线，我们无法通过找几个随机的点就确定一条曲线，而是给定一个多项式（如ax^3+ bx^2+cx+d），这个多项式它是存在未知参数的（a、b、c、d），如果我们求解出了这个多项式的参数，就相当于求解出了拟合的曲线，含有4个未知参数，就需要4个可能解来求出这个多项式，有5个，就需要5个可能解来求出这个多项式，以此类推。

处理匹配错误的特征点

经过上面的曲线拟合方法的介绍后，对于匹配错误的特征点，我们该怎么做？
正确的做法是不断选择一对匹配的特征点，然后计算由这对特征点确定的数学模型的inliers。当inliers达到阈值条件，拟合出了数学模型后，便计算两幅对应所有特征点的偏移量，求出偏移量的平均值，最后进行图像拼接。

使用RANSAC图片匹配

代码：

from PCV.geometry import warp
from numpy import *
from matplotlib.pyplot import *
from PIL import Image
from numpy import array, vstack, dot
import homography
from PCV.localdescriptors import sift
featname = ['C:/Users/16089/Desktop/计算机视觉/新建文件夹 (3)/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['C:/Users/16089/Desktop/计算机视觉/新建文件夹 (3)/' + str(i + 1) + '.jpg' for i in range(5)]
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])
matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])
# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)
# 将匹配转换成齐次坐标点的函数
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)
    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp
# 估计单应性矩阵
model = homography.RanSacModel()
fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2
fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1
tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2
tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3
# 扭曲图像
# img delta
# delta = 100  # 用于填充和平移 for padding and translation
# libraryimg delta
delta = 2000
im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)
im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)
im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)
figure()
imshow(array(im_42, "uint8"))
axis('off')
show()