计算机视觉 针对不同场景做全景拼接

针对不同场景做全景拼接

利用RANSAC算法来做不同场景的全景图
在运行代码的时候，会遇到一些错误，主要原因出现在pcv模块中。

from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift

"""
This is the panorama example from section 3.3.
"""

# set paths to data folder
featname = [r'D:\VScode_workplace\RANSACtest1\sw'+str(i+1)+'.sift' for i in range(5)] 
imname = [r'D:\VScode_workplace\RANSACtest1\sw'+str(i+1)+'.jpg' for i in range(5)]

# extract features and match
l = {}
d = {}
for i in range(5): 
    sift.process_image(imname[i],featname[i])
    l[i],d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i+1],d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i+1]))
    figure()
    sift.plot_matches(im2,im1,l[i+1],l[i],matches[i],show_below=True)


# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j+1][ndx,:2].T)  
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2,:2].T) 
    
    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1],fp[0],fp[2]])
    tp = vstack([tp[1],tp[0],tp[2]])
    return fp,tp


# estimate the homographies
model = homography.RansacModel() 

fp,tp = convert_points(1)
H_12 = homography.H_from_ransac(fp,tp,model)[0] #im 1 to 2 

fp,tp = convert_points(0)
H_01 = homography.H_from_ransac(fp,tp,model)[0] #im 0 to 1 

tp,fp = convert_points(2) #NB: reverse order
H_32 = homography.H_from_ransac(fp,tp,model)[0] #im 3 to 2 

tp,fp = convert_points(3) #NB: reverse order
H_43 = homography.H_from_ransac(fp,tp,model)[0] #im 4 to 3    


# warp the images
delta = 2000 # for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12,im1,im2,delta,delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12,H_01),im1,im_12,delta,delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32,im1,im_02,delta,delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32,H_43),im1,im_32,delta,2*delta)


figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

运行之前需要更改pcv文件，具体步骤如下：
1、找到如下路径：

看到ransac.py文件，利用vscode打开

在这几行的print，在之前是没有括号的，与python3起冲突，所以只要加上括号，改成图示即可。

1、室内场景
需要拼接的图片：（集美大学寝室照）
效果：
全景照拼接后显得很扭曲。修改后：

修改后结合上一张图片总结原因应当是图片角度过窄，导致有部分图片拼接较好，而有部分图片拼接失败，被程序过度扭曲且无法拼接。

2、室外景深落差较小的场景
需要拼接的图片（集美大学嘉庚图书馆、中山纪念馆）

使用SIFT特征匹配得到效果：

最终拼接效果图：

室外的全景图片拼接效果较好。但是在右侧拼接处出现了一些偏差。总结原因应当是拍摄过程中两张图片角度过大，使得图片扭曲拼接的出现瑕疵。
然后尝试五张图片
五张图片全景拼接合成：

但是两次我发现五张图片两次合成的结果又可能不一样。
所以要多运行两次才可以。

3、室外景深落差较大的场景

在室外取了景深落差较大的景，例如以下两个对比：

这是两个非常明显的景深效果和非景深效果两张图片的对比。
然而在运行的时候，出现了如下错误：

由图可见，五张图片的sift特征点都形成了矩阵。

但是可能由于没有找到最佳拟合的线，所以无法进行拼接。