本文提出了一种新的分类单应性矩阵来解决在单一全局单应性矩阵下非重叠区域发生形变的情况,同时本文和单应性、AutoStitch、SPHP进行效果比较
当前的图像拼接已经越来越成熟,且主要趋向于解决两个方面的问题:重叠区域配准质量,非重叠区域保持尽可能自然的效果。
分析发现,全局单应性拼接,在远离参考影像的地方,会出现物体放大等不良效果,而SPHP虽然能够抑制这一问题,但是在重叠区域配准上会出现错位严重的问题。SPHP和AANAP将单应性和相似变换相结合,来抑制非重叠区域的投影扭曲,还有一些其他的办法为了在约束扭曲的同时保留直线。
本文提出了一种叫类单应性变换的方法,在非重叠区域平衡投影扭曲的同时,约束透视失真,使得最终的效果看起来更加的自然。且本文提出的方法主要是依据全局单应性,不需要过多的参数解算。
Gao et al.提出了双单应性矩阵,为了能在重叠区域有更好的配准效果。Lin et al.提出了SVA,相比单纯的仿射变换和单应性变换,有更加平滑的效果。Zaragoza et al.提出了APAP和moving DLT,对于相机不止是纯旋转的情况,有较好的效果。Lou et al.提出了picewise alignment method,利用分段局部集合模型来拼接。还有一些其他的利用缝合线来得到较好的拼接对准效果的方法。
本文主要是针对图像拼接能有较为自然的效果,因此主要和SPHP和AANAP进行比较。针对较为自然的拼接效果,首先,需要在全局一致的情况下具有直线约束的特征(通过网格到网格的变换来得到),局部一致的特征就是均匀缩放,投影失真主要表现在线性变化的尺度函数。
下面进行具体的数学分析推导
假定目标影像I 和参考影像I’
如果变换是全局一致的,那么必定有直线保留的特征(全局单应性就被认为是全局一致)
假设一条直线在目标图像上,那么必定有对应的一条直线在参考图像上,且对应表达如下:
.
定义直线斜率k’如下:(且可知斜率和z无关)
因此可以重新定义为slope(x,y,k)
且当k=0和k=∞的时候分别表示水平直线和竖直直线
如果变换是局部一致的,那么必定有均匀缩放的特点,因此我们的变换需要在保证直线特征的情况下还要均匀缩放,那么我们对应的直线要求就改动如下
下面假设摄像机是水平移动和旋转,那么必定存在一条水平线lx以及其对应水平线lx’,我们事先设定y为一固定值,则可以求得y
在lx上选取一点x*,我们可以将图像分为两部分,重叠区域和非重叠区域,并且是由x来划分,且在O区域的单应性矩阵为Ho,在Q区域的单应性矩阵为H
下面开始具体描述单应性矩阵的求解
1.首先求全局单应性矩阵
(1)本文先验证了全局单应性矩阵具有直线约束的特点,选取水平直线如lx,求得y*
那么在当前直线下的x的变换表达如下
可见,当h7不等于0的时候,虽然全局单应性能够保持y*不变,但是x并不是均匀缩放的
因此可见,当拼接配准较好的时候,全局单应性能够做到全局一致,但是在非重叠区域的投影失真,即缩放不均匀导致的物体放大问题始终存在
(2)SPHP正是基于此原因提出来的改进方法,该方法将拼接分为三个区域,重叠区域使用单应性矩阵,外侧区域使用相似变换矩阵,中间过渡阶段将单应性矩阵过度到相似矩阵。即如下:
但是,SPHP方法容易在T区域造成直线的完全,甚至无法连接上的情况。因此平衡好透视失真和投影失真的本文最主要的出发点。即在单应性矩阵过度到非重叠区域的其他变换矩阵的时候,尽可能的平滑,且保持直线特征。
2.下面具体讲解如何过渡的问题
求解全局单应性矩阵没有任何特殊的地方。下面再来定义一条水平直线y*,同理可满足y的公式上面已经求解,把图像拼接分为两个部分,以重叠区域和非重叠区域为分界线。在重叠区域使用全局单应性矩阵,非重叠区域使用新的矩阵变换。==其中x就是分界线==
同理