计算机视觉 学习笔记(三)全景拼接

原理

一、全景拼接原理

在生活当中,我们使用手机摄像功能时会时常使用到全景摄像。然而我们会经常遇到全景图拍摄失败。例如我们拍摄一个场景的时候,人会被拉扯成两个人的宽度,或是被压缩成一条线的宽度,或是建筑物被扭曲等等诡异画面。这是由于全景拼接算法不完善或是有问题的表现。例如:
在这里插入图片描述
在这里插入图片描述
可以看到全景图拼接算法现在仍是一个世人需要解决和完善的难题。

全景拼接原理
本次学习研究的全景拼接算法是RANSAC(随机一致性),该算法的基本思想是,数据中包含正确的点和噪声点,合理的模型应该能够在描述正确数据点的同时摒弃噪声点。
全景照片的拼接的简述步骤:
1、特征点匹配:找到图片之间的共有部分。
2、图片匹配:将匹配的特征点连接起来。

特征点匹配
在合成全景图时,我们特征点匹配选取的方法是SIFT方法。
SIFT是具有很强稳健性的描述子,能够比其它描述子例如Harris角点,产生更少的错误匹配。然而SIFT方法仍然远非完美。
提取SIFT特征有两方面:侦测、描述。
以教材为例:
在这里插入图片描述
图片匹配
在特征点全部匹配之后,剩下的就是将图片全部连接到一起来组成一张全景图了。因为几乎每张图片与其他几张之间都可能有重叠部分,所以需要得到这些图片之间图像特征点精准匹配形成的几何关系。而利用RANSAC,排除掉不符合大部分特征点几何关系的匹配。利用这些匹配点的几何关系来进行稳健的单应性矩阵估计。
RANSAC是一种迭代算法(Iteration Method),用来从观测数据中估算出数学模型的参数,此基础上便可以分离内群(Inliers)与离群(Outliers)数据。简单来说就是一般来 讲观测的数据里经常会出现很多噪音,比如说像SIFT匹配有时就会因为不同地方有类似的图案导致匹配错误。而RANSAC就是通过反复取样,也就是从整个 观测数据中随机抽一些数据估算模型参数之后看和所有数据误差有多大,然后取误差最小视为最好以及分离内群与离群数据。

RANSAC效果:
在这里插入图片描述
边有一块是黑色的,是因为在定义图片大小的时候,定义了全景图的大小,但是拼接后没有这么大,所以有一块是黑色的。

二、针对不同场景做全景拼接

2.1 代码实现

from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift

"""
This is the panorama example from section 3.3.
"""

# set paths to data folder
featname = [r'D:\VScode_workplace\RANSACtest1\sw'+str(i+1)+'.sift' for i in range(5)] 
imname = [r'D:\VScode_workplace\RANSACtest1\sw'+str(i+1)+'.jpg' for i in range(5)]

# extract features and match
l = {}
d = {}
for i in range(5): 
    sift.process_image(imname[i],featname[i])
    l[i],d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i+1],d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i+1]))
    figure()
    sift.plot_matches(im2,im1,l[i+1],l[i],matches[i],show_below=True)


# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j+1][ndx,:2].T)  
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2,:2].T) 
    
    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1],fp[0],fp[2]])
    tp = vstack([tp[1],tp[0],tp[2]])
    return fp,tp


# estimate the homographies
model = homography.RansacModel() 

fp,tp = convert_points(1)
H_12 = homography.H_from_ransac(fp,tp,model)[0] #im 1 to 2 

fp,tp = convert_points(0)
H_01 = homography.H_from_ransac(fp,tp,model)[0] #im 0 to 1 

tp,fp = convert_points(2) #NB: reverse order
H_32 = homography.H_from_ransac(fp,tp,model)[0] #im 3 to 2 

tp,fp = convert_points(3) #NB: reverse order
H_43 = homography.H_from_ransac(fp,tp,model)[0] #im 4 to 3    


# warp the images
delta = 2000 # for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12,im1,im2,delta,delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12,H_01),im1,im_12,delta,delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32,im1,im_02,delta,delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32,H_43),im1,im_32,delta,2*delta)


figure()
imshow(array(im_42, "uint8"))
axis('off')
show()



2.2 室内场景

需要拼接的图片:(集美大学寝室照)
效果:
在这里插入图片描述
全景照拼接后显得很扭曲。修改后:
在这里插入图片描述
修改后结合上一张图片总结原因应当是图片角度过窄,导致有部分图片拼接较好,而有部分图片拼接失败,被程序过度扭曲且无法拼接。

2.2 室外景深落差较小的场景

需要拼接的图片(集美大学嘉庚图书馆、中山纪念馆)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
使用SIFT特征匹配得到效果:
在这里插入图片描述在这里插入图片描述
最终拼接效果图:
在这里插入图片描述
室外的全景图片拼接效果较好。但是在右侧拼接处出现了一些偏差。总结原因应当是拍摄过程中两张图片角度过大,使得图片扭曲拼接的出现瑕疵。
然后尝试五张图片
五张图片全景拼接合成:

在这里插入图片描述

2.3 室外景深落差较大的场景

在室外取了景深落差较大的景,例如以下两个对比:
在这里插入图片描述
在这里插入图片描述
但是可能由于没有找到最佳拟合的线,所以无法进行拼接:
在这里插入图片描述

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值