【论文精读】Seam-Driven Image Stitching-接缝驱动的图像拼接

论文下载链接

摘要

本文提出一种接缝驱动的图像拼接方法。不同于之前基于特征对应的最佳拟合来估计几何变换，我们的方法基于接缝切割的结果视觉质量来评估变换的优度。

一、介绍和动机

1、首先介绍了现有图像拼接方法大多涉及的两个步骤：
①计算参数变换（平面透视变换或单应性）来对齐图像;
②使用稳健方法估计具有最佳几何拟合的单应性。

2、指出基于单应性的图像对齐在现实中很难，原因在于？
捕获的场景必须距离摄影机足够远，可以将其视为平面，或者摄影机围绕其投影中心旋转以避免视差，才可以得到很好的效果。

3、于是，我们引入了接缝驱动图像拼接的思想。不是根据匹配特征点的最佳几何拟合来选择单应性，而是根据产生的接缝切割的感知质量来评估变换(见图1)。为此，我们提出了一种简单而有效的方法来评估不同变换产生的接缝切割。对于输入图像序列在非理想成像条件下捕获的挑战情况，这种接缝驱动方法通常可以产生比当前最先进的方法更好的结果。

二、接缝驱动图像拼接

指出图2介绍了传统拼接和本文提出的接缝拼接的过程。

①传统拼接： 首先是在图像之间计算特征点，得到一组特征对应，然后使用随机样本一致性（RANSAC）来估计几何拟合的单应性，选择单应性最好的用来使图像变形和对齐，最后进行接缝切割产生最终的结果。
②本文的接缝驱动方法： 以类似的方式运行，但以不同的方式评估和选择单应性。通过修改 RANSAC 中的假设和测试循环来实现，鼓励多样性的方式生成候选单应性，并通过使用所有候选者对对齐的图像应用接缝切割，最后选择接缝切割最好的作为最终的结果。

2.1 生成单应候选

RANSAC通过在随机抽样的最小数据子集上拟合单应来生成模型假设，其中每个子集包含四个对应。该随机抽样过程重复多次，并选择一致性大小最高的假设。
本文的做法：
首先，标准 RANSAC 应用相对较大（在我们的实现中为 500）以适应主导平面。在此之后，我们移除主导平面的内点，并在剩余的匹配点上应用一系列 RANSAC 实例，每个实例都有较小的 n（在我们的实现中为 50）。这有助于找到对齐其他较小平面结构的单应性，这可能会导致更好的接缝。

2.2 计算接缝切割

接缝切割应用于对图像(I1和I2)与候选单应性对齐的重叠区域。接缝计算可以表述为Markov Random Field (MRF)上的标记问题，该标记问题使全局能量最小化，形式如下:

其中 Ed 是数据成本能量，反映了像素 p 的显着性，标签为 lp。平滑能量 Es 测量相邻像素 p 和 q 的不连续性，定义在 4 个连接的邻域 N 上。标签 lp 决定哪个图像 I1 或 I2 将出现在每个像素 p 的重叠区域中。
按照[ADA∗04]提出的公式，每个像素的数据成本定义为该位置的梯度:

其中lp决定在位置p使用哪个图像梯度(即∇I1或∇I2)。两个像素p和q之间的平滑度成本定义为：

表示相邻像素对之间的不连续。当lp=lq时，平滑代价为0;当lp≠lq时，平滑代价定义为重叠像素的差值D，其中D为:

其中α=2。图切割优化用于将标签分配给我们的MRF[BVZ01]。

2.3 评估切割

虽然接缝切割能量使图像I1和I2之间的梯度最小，但它在对不同切割的感知质量进行排序时无效。我们引入了一种鉴别性更强的误差测量方法。对于沿着接缝的每个像素p，我们通过提取以p为中心的17×17 patch p来估计一个误差值E§，并在I1或I2中搜索其最相似的patch。这可以表示为:

其中Si表示I1和I2重叠区域的所有图像小块。这个想法是，如果沿着接缝的一个补丁类似于在I1或I2中发现的一个补丁，那么它在感知上是可信的。如果在两个源图像中都找不到沿接缝的补丁，那么它很可能是伪迹，因此会有更大的误差。沿尺寸为m的焊缝的总误差计算为E=∑npE§/m。
图3 (A)和(B)显示了这一过程的示意图，以及一个示例，其中有三个不同的切割，对应的每像素误差，E§显示为热图，总误差E '。最小的误差表明了我们的知觉排名。

三、结果和讨论

图4显示了我们的结果以及使用Photoshop CS6(基于[ADA∗04])获得的结果。四个输入图像包含视差，因此很难对齐。Photoshop使用传统的图像拼接管道来选择最适合的变换。即使在接缝切割后，仍然有明显的瑕疵。相比之下，我们的接缝驱动策略能够获得更好的结果。请参阅本文附带的补充材料。
与短篇论文主题一致，我们的接缝驱动图像拼接的想法是一个进展中的工作。虽然2.3节中定义的误差测量允许我们对不同的切缝结果进行排序，但可能有更好的方法来表述这一点。此外，传统的图像拼接方法执行束平差步骤，其中对单像集合进行调整，以提供对匹配特征点的全局拟合。在我们的框架中应用束调整并不直接，因此我们的方法仅限于增量式应用。这可能导致我们选择的单应在局部提供良好的切缝，但对其他重叠图像的单应估计有不利影响。这些都是值得进一步研究的有趣领域。

完！