计算机视觉-图像拼接

1、原理介绍

在上一章博客中我们介绍了RANSAC原理，本章是在RANSAC原理的基础上面对进行进一步研究，本章博客要介绍的是图像拼接。主要采用APAP算法。

1.1 拼接流程

1.提取两张图片的sift特征点
2.对两张图片的特征点进行匹配
3.匹配后，使用RANSAC算法进行特征点对的筛选，排除错误点。筛选后的特征点基本能够一一对应。
4.使用DLT算法，将剩下的特征点对进行透视变换矩阵的估计。
5.因为得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块进行单应性矩阵变换。

1.2最小割问题（最大流问题）–找拼接缝

当两张图像拼接完成后，可能会出现一下情况：两张图像之间的过度不连续，也就是存在拼接缝隙，拼接线两侧的灰度变化较为明显。最小割问题可以解决这个问题

（一）最小割问题
  割是网络中定点的一个划分，它把网络中的所有顶点划分成两个顶点集合S和T，其中源点s∈S,汇点t∈T。记为CUT(S,T)，满足条件的从S到T的最小割（Min cut）。
  在有向图所有的割中，边权值和最小的割为最小割。也就是说，在最小割位置，A,B两幅图在当前像素点差别最小。

（二）最大流问题
  给定指定的一个有向图,其中有两个特殊的点源S和汇源T,每条边有权值，为正，也叫容量，求满足条件的从S到T的最大流(MaxFlow)。
有以下性质：
一个st-flow(简称flow)是为每条边附一个值，这个值需要满足两个条件
1 、0<=边的flow <<边的capacity
2、除了s和t外，每个顶点的inflow要等于outflow

1.3 multi-band bleing

在找完拼接缝后，由于图像噪声、光照、曝光度、模型匹配误差等因素，直接进行图像合成会在图像重叠区域的拼接处出现比较明显的边痕迹。

这些边痕迹需要使用图像融合算法来消除。这里介绍一种方法—multi-band bleing
思想：采用的方法是直接对带拼接的两个图片进行拉普拉斯金字塔分解，后一半对前一半进行融合。
步骤：
（1）首先计算当前待拼接图像和已合成图像的重叠部分。并对图像A、B 重叠部分进行高斯金字塔和拉普拉斯金字塔分解

G0为原始图像，G1表示对G0做reduce操作。Reduce操作定义如下：
对G1进行扩展后与G0相减，可以得到拉普拉斯金字塔的第一层L0。同理，拉普拉斯金字塔的L2、L3等层也可以按照这种方法来计算。
两幅图像的融合过程：分别构建图像A、B的高斯金字塔和拉普拉斯金字塔，然后进行加权融合。
其中，LA0LA3为图像A的拉普拉斯金字塔，LB1LB3为图像B的拉普拉斯金字塔。
（2）对加权后的拉普拉斯金字塔进行重构，最后得到的LS0*就是重叠区域的像素值。

2、实验分析

2.1 实验代码

# ch3_panorama_test.py
from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift

import os
root=os.getcwd()+"\\"

"""
This is the panorama example from section 3.3.
"""

# set paths to data folder
featname = ['picture2/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['picture2/' + str(i + 1) + '.jpg' for i in range(5)]

# extract features and match
l = {}
d = {}
for i in range(5):
    sift.process_image(root+imname[i], root+featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)


# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# estimate the homographies
model = homography.RansacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# warp the images
delta = 1000  # for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
savefig("quanjing.png", dpi=300)
show()

2.2实验分析

2.2.1实验数据1

这组数据是站在同一位置对不同角度进行拍摄，针对固定点位拍摄多张图片，以中间图片为中心，实现图像的拼接融合。

特征匹配后删除误配结果




拼接结果：

实验分析：
本次用了五张图片进行拼接，由于图片是站在阳台上拍的，光线落差比较大，虽然图片成功的拼接在一起，但是可以看到有几条比较明显的拼接缝，最右边的图片出现了扭曲，这可能是因为图片拍摄的时候的角度问题，也可能是因为APAP算法是对每个小格做单应性变换，从单个小格看是没有特征的。

2.2.2实验数据2

这组图片是对近处的景物进行不同角度的拍摄， 针对同一场景（需选取视差变化大的场景，也就是有近景目标），更换拍摄位置，分析拼接结果。

原图如下：

特征匹配及删除错配：


拼接结果：

实验分析：
本组主要是近处的图片进行拼接，由于室内光线的落差不大，可以看到右边的图片拼接效果很好，但是左边的效果不尽如意。通过之前的实验我们知道RANSAC算法虽然会删除误配，但是也同样的会将正确的匹配删除，这就可能导致了结果的错误，由于远近拍摄的角度、距离都不相同，也可能造成图片的误配。

3、实验遇到的问题

1、在读入图片的时候要注意将图片从右到左进行编号在排列，因为编码的过程中会将图片从右到左进行计算匹配，如果不这么做可能出现以下情况：

2、选择图片的时候要注意角度尽量大一点，如果展开的可能就在画布中间一点点，观察的时候不清晰，出现如下图情况。