计算机视觉编程第三章 图像拼接（Python）

一、基本概念

从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集冈。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。图像拼接是将两张或两张以上、且两两图像之间具有相同的特征点（SIFT特征点）的图像通过特征匹配拼接在一起。手机上照相机的全景照相就是图像拼接的一个应用

二、RANSAC

1. 基本概念

RANSAC可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。

2.优点与缺点

RANSAC的优点是它能鲁棒的估计模型参数。例如，它能从包含大量局外点的数据集中估计出高精度的参数。RANSAC的缺点是它计算参数的迭代次数没有上限；如果设置迭代次数的上限，得到的结果可能不是最优的结果，甚至可能得到错误的结果。RANSAC只有一定的概率得到可信的模型，概率与迭代次数成正比。RANSAC的另一个缺点是它要求设置跟问题相关的阀值。RANSAC只能从特定的数据集中估计出一个模型，如果存在两个（或多个）模型，RANSAC不能找到别的模型。

3.使用RANSAC图片匹配代码

from numpy import *
from matplotlib.pyplot import *
from PIL import Image
import warp
import homography
from PCV.localdescriptors import sift

featname = ['D:/image/shiyan42/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['D:/image/shiyan42/' + str(i + 1) + '.jpg' for i in range(5)]
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)

# 将匹配转换成齐次坐标点的函数
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# 估计单应性矩阵
model = homography.RanSacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2
fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1
tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2
tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# 扭曲图像
delta = 100  # 用于填充和平移 for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)
im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)
im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

4.原始图片

5.运行结果

从实验结果可以看出来使用RANSAC图像拼接的效果不错，这是因为输入的图片上的景物都在同一深度上，而且图片的噪声点较小。但是如果对于纹理比较复杂、噪声点比较多、物体深度不一的情况，拼接的效果就会不好。

6. “鬼影”

通过上面RANSAC方法可以消除异常匹配的特征点的问题，但是匹配后得到的图像会出现“鬼影”问题，所谓鬼影问题就是图像叠加后出现重影。解决办法就是局部单应性变换。

三、寻找拼接图像切割线

1.为什么找切割线

解决了拼接后图像景物的“鬼影”问题后，并没有达到很完美的拼接图像，因为对于一些比较复杂的背景（如建筑等），它们在拼接的时候，也可能会出现重影。那产生重影的问题是什么？因为图像的重叠导致了重影，那么解决的方式就是不让图片重叠。具体的方式就是在图像重叠的区域中找到一条切割线，使得在切割线的左边用图片A，在切割线的右边用图片B，则就解决了图像拼接后因为重叠而导致的重影问题。

2. 找切割线的准则

显然这条切割线不能够乱找，如果在两张图像差异很大的地方切割开了重叠部分，那么得到的效果显然很好。要找到一条好的切割线，就要在线的左右两边图像的像素差异比较小，这样切割出来的效果，就没有强烈的违和感。

3. 最大流最小割

找到这么一条切割线运用的是一个最大流的方法。下面的这个图结构，可以把它理解为图像的重叠部分，具体步骤就是：不断的找从S到E的一条路径，每找到一条路径，就让该路径上的所有边的权重减去这条路径上权重值最小边的权重，同时在这条路径上构造一个方向的有向边，权重值设置为减去的值，另外如果减完后权重为0，则删除这条边。算法一直循环知道无法找到S到E的路径借结束，最后切割那些为空或是流已满的边。