计算机视觉实验三

参考教材：计算机视觉    编程 【人民邮电出版社】

语言：python 

软件：VS code

图像拼接

基本原理：将两幅或多幅具有重叠区域的图像，通过特征匹配将具有相同的特征点（SIFT特征点）的图像拼接在一起，将来自多个不同视角拍摄的图像变换到同一视角下，拼接成一张宽视野图像。

基本流程：

1. 针对某个场景拍摄多张/序列图像

2. 计算第二张图像与第一张图像之间的变换关系

3. 将第二张图像叠加到第一张图像的坐标系中

4. 变换后的融合/合成

5. 在多图场景中，重复上述过程

RANSAC算法

RANSAC 是“RANdom SAmple Consensus”（随机一致性采样）的缩写。该方法是用来找到正确模型来拟合带有噪声数据的迭代方法。给定一个模型，例如点集之间的单应性矩阵，RANSAC 基本的思想是，数据中包含正确的点和噪声点，合理的模型应该能够在描述正确数据点的同时摒弃噪声点。 即从一组数据集（包含噪声点的数据集）中，能够从中挑选出正确的点，获取能够正确拟合的参数模型。

基本流程：

1. 随机采样K个点，K是求解模型参数的最少点个数；
2. 使用K个点估计模型参数；
3. 计算剩余点到估计模型的距离，距离小于阈值则为内点，统计内点的数目；
4. 重复步骤1~3，重复次数M且保留数目最多的内点；
5. 使用所有的内点重新估计模型。

APAP算法

基本流程：

SIFT得到两幅图像的匹配点对
通过RANSAC剔除外点，得到N对内点
利用DLT和SVD计算全局单应性
将源图划分网格，取网格中心点，计算每个中心点和源图上内点之间的欧式距离和权重
将权重放到DLT算法的A矩阵中，构建成新的W*A矩阵，重新SVD分解，自然就得到了当前网格的局部单应性矩阵
遍历每个网格，利用局部单应性矩阵映射到全景画布上，就得到了APAP变换后的源图
最后就是进行拼接线的加权融合

最大流问题

最大流问题(maximum flow problem)，一种组合最优化问题。就是要讨论如何充分利用装置的能力，使得运输的流量最大，以取得最好的效果。

归纳：

• 所有流经网络（有向且流通）的流都起源于同一点，称为发点（源），终止与另一个点，称为收点（汇）。
• 剩余的其他点称为中间点。
• 流的方向由箭头表明，弧的容量就是允许的最大流量。在发点，所有的流都从这一点发出。在收点，所有的流都指向这一点。
• 问题的目标是使从发点到收点的总流量达到最大。该值可以由两种等价的方式来衡量，即发点的流出量或收点的流入量。
   

图像拼接代码：

from pylab import *
from numpy import *
from PIL import Image

featname = ['image/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['image/' + str(i + 1) + '.jpg' for i in range(5)]

l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])


for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)


def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp

model = homography.RansacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

delta = 2000  

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()