摘要
本文提出一种接缝驱动的图像拼接方法。不同于之前基于特征对应的最佳拟合来估计几何变换,我们的方法基于接缝切割的结果视觉质量来评估变换的优度。
一、介绍和动机
1、首先介绍了现有图像拼接方法大多涉及的两个步骤:
①计算参数变换(平面透视变换或单应性)来对齐图像;
②使用稳健方法估计具有最佳几何拟合的单应性。
2、指出基于单应性的图像对齐在现实中很难,原因在于?
捕获的场景必须距离摄影机足够远,可以将其视为平面,或者摄影机围绕其投影中心旋转以避免视差,才可以得到很好的效果。
3、于是,我们引入了接缝驱动图像拼接的思想。不是根据匹配特征点的最佳几何拟合来选择单应性,而是根据产生的接缝切割的感知质量来评估变换(见图1)。为此,我们提出了一种简单而有效的方法来评估不同变换产生的接缝切割。对于输入图像序列在非理想成像条件下捕获的挑战情况,这种接缝驱动方法通常可以产生比当前最先进的方法更好的结果。
二、接缝驱动图像拼接
指出图2介绍了传统拼接和本文提出的接缝拼接的过程。
①传统拼接: 首先是在图像之间计算特征点,得到一组特征对应,然后使用随机样本一致性(RANSAC)来估计几何拟合的单应性,选择单应性最好的用来使图像变形和对齐,最后进行接缝切割产生最终的结果。
②本文的接缝驱动方法: 以类似的方式运行,但以不同的方式评估和选择单应性。通过修改 RANSAC 中的假设和测试循环来实现,鼓励多样性的方式生成候选单应性,并通过使用所有候选者对对齐的图像应用接缝切割,最后选择接缝切割最好的作为最终的结果。
2.1 生成单应候选
RANSAC通过在随机抽样的最小数据子集上拟合单应来生成模型假设,其中每个子集包含四个对应。该随机抽样过程重复多次,并选择一致性大小最高的假设。
本文的做法:
首先,标准 RANSAC 应用相对较大(在我们的实现中为 500)以适应主导平面。在此之后,我们移除主导平面的内点,并在剩余的匹配点上应用一系列 RANSAC 实例,每个实例都有较小的 n(在我们的实现中为 50)。这有助于找到对齐其他较小平面结构的单应性,这可能会导致更好的接缝。
2.2 计算接缝切割
接缝切割应用于对图像(I1和I2)与候选单应性对齐的重叠区域。接缝计算可以表述为Markov Random Field (MRF)上的标记问题,该标记问题使全局能量最小化,形式如下:
其中 Ed 是数据成本能量,反映了像素 p 的显着性,标签为 lp。平滑能量 Es 测量相邻像素 p 和 q 的不连续性,定义在 4 个连接的邻域 N 上。标签 lp 决定哪个图像 I1 或 I2 将出现在每个像素 p 的重叠区域中。
按照[ADA∗04]提出的公式,每个像素的数据成本定义为该位置的梯度:
其中lp决定在位置p使用哪个图像梯度(即∇I1或∇I2)。两个像素p和q之间的平滑度成本定义为:
表示相邻像素对之间的不连续。当lp=lq时,平滑代价为0;当lp≠lq时,平滑代价定义为重叠像素的差值D,其中D为:
其中α=2。图切割优化用于将标签分配给我们的MRF[BVZ01]。
2.3 评估切割
虽然接缝切割能量使图像I1和I2之间的梯度最小,但它在对不同切割的感知质量进行排序时无效。我们引入了一种鉴别性更强的误差测量方法。对于沿着接缝的每个像素p,我们通过提取以p为中心的17×17 patch p来估计一个误差值E§,并在I1或I2中搜索其最相似的patch。这可以表示为:
其中Si表示I1和I2重叠区域的所有图像小块。这个想法是,如果沿着接缝的一个补丁类似于在I1或I2中发现的一个补丁,那么它在感知上是可信的。如果在两个源图像中都找不到沿接缝的补丁,那么它很可能是伪迹,因此会有更大的误差。沿尺寸为m的焊缝的总误差计算为E=∑npE§/m。
图3 (A)和(B)显示了这一过程的示意图,以及一个示例,其中有三个不同的切割,对应的每像素误差,E§显示为热图,总误差E '。最小的误差表明了我们的知觉排名。
三、结果和讨论
图4显示了我们的结果以及使用Photoshop CS6(基于[ADA∗04])获得的结果。四个输入图像包含视差,因此很难对齐。Photoshop使用传统的图像拼接管道来选择最适合的变换。即使在接缝切割后,仍然有明显的瑕疵。相比之下,我们的接缝驱动策略能够获得更好的结果。请参阅本文附带的补充材料。
与短篇论文主题一致,我们的接缝驱动图像拼接的想法是一个进展中的工作。虽然2.3节中定义的误差测量允许我们对不同的切缝结果进行排序,但可能有更好的方法来表述这一点。此外,传统的图像拼接方法执行束平差步骤,其中对单像集合进行调整,以提供对匹配特征点的全局拟合。在我们的框架中应用束调整并不直接,因此我们的方法仅限于增量式应用。这可能导致我们选择的单应在局部提供良好的切缝,但对其他重叠图像的单应估计有不利影响。这些都是值得进一步研究的有趣领域。
完!