图像拼接
前言
SIFT特征:
上篇博客已经介绍了SIFT特征点的尺度不变性,提取出两幅图片的SIFT特征点,将相同部分进行匹配,为图像拼接提供可能。
提示:以下是本篇文章正文内容,下面案例可供参考
一、图像拼接的想法?
二、如何计算图像之间的变化结构
1.变换结构
基于特征点的匹配,可以找到两幅图像的可拼接区域,然后将两幅图像头用到共同的拼接平面上,在拼接平面上进行融合
但是由于两幅图像相同内容存在如位移、旋转、相似、仿射、透视的变换关系,所以需要计算两个图像的变换结构
对于每种变化关系原坐标可与参数计算得到映射坐标,如位移对于x,y坐标分别需要一个,在xy坐标系下一共就需要两个
可知存在透视关系时,需要8个参数才可由原坐标计算出映射坐标,八个参数对应的就是单应性矩阵,那么如何求解
2.单应性矩阵求解
前面已经提到可以通过SIFT匹配到的两幅图像对应匹配的点,那么有了匹配点对,就可以反向求解出单应性矩阵的八个参数。
显然至少需要四对匹配点,才可以求出八个参数
以平移变化结构为例,如下很容易就可以算出两个参数,但存在问题
问题一、错误匹配的干扰
采用最小二乘法或者平均残差(所有匹配点坐标差求和平均)的方法,无法排除错误匹配对参数的影响
问题二、方程数远远大于参数量
3.RAndom SAmple Consensus 参数求解
解决错误匹配的噪声问题
4.图像插值
在进行坐标变换还会出现变换后的坐标并不能准确落在一个像素点,而是落在几个像素点上
可以采用近邻插值、线性插值方法解决
5.最小图割方法选取拼接缝
两幅图像根据匹配区域完成叠加之后,又面临叠加区域显示左图还是右图的问题。
采用寻找图最小割的方法解决
6.Multi band blend
两幅图像进行拼接后会出现,明显的拼接痕迹,这是需要进行特定的处理
总结
三、实验
在寝室楼道拍了五张图片进行拼接,明显的看到曝光不同,天的颜色不同,以及存在飘移的问题