图像拼接 | 《Coarse-to-fine Seam Estimation for Image Stitching》论文笔记

《Coarse-to-fine Seam Estimation for Image Stitching》

arXiv：https://arxiv.org/abs/1805.09578

发表时间：2018-05-24

编辑者：Amusi

编辑时间：2018-05-31

目的

创新点

名词翻译

摘要

1 引言

2 相关工作

3 由粗到细的缝估计

A 传统的缝切割

B Patch-point 估计算法

C 缝估计优化

D 提出由粗到细框架

4 实验

5 总结

参考文献

目的

find a nearly perception-consistent seam

• 设计一个 Seam estimation方法，可以在给定的对齐假设（alignment hypothesis）下找到感知最佳的缝合线（perceptually optimal seam）：即 coarse-to-fine seam estimation方法

创新点

• 对 quality metric进行优化
• 引入了 patch-point 评估算法

在本文中，我们提出了一种粗到细（coarse-to-fine）的图像拼接缝估计方法。 从接缝评估的角度来看，我们观察到感知上最优的接缝应该具有相对较小的质量测量以及接缝上像素的小变化（参见图3（d））。 我们由粗到细策略有两个主要步骤。在第一步中，给定对齐图像后，我们通过传统的切缝估计缝合缝，其中根据原始差异图计算能量函数。在第二步中，我们引入了 patch-point 评估算法来评估接缝上的像素，然后使用评估来重新计算差异图并重新缝合接缝。这两个过程迭代直到当前接缝相比之前的接缝变化可以忽略不计。 实验表明，我们的方法优于传统的切缝和其他接缝驱动方法。

我们观察到：感知上最佳的接缝应该具有相对较小的quality measure 以及接缝上像素的小变化/方差（variance）。

由粗到细（coarse-to-fine）策略有两个主要步骤：

第一步：在给定对齐的图像的情况下，我们通过传统的切缝估计缝合接缝，其中根据原始差异图（difference map）计算能量函数。

第二步：我们引入了 patch-point 评估算法来评估接缝上的像素，然后使用评估结果来重新计算差异图并重新缝合接缝。

上述两个过程迭代直到当前接缝相比之前的接缝变化可以忽略不计（接缝无优化）。 实验表明，我们的方法优于传统的切缝和其他接缝驱动方法。

注：解决不完美（imperfect）的图像序列拼接问题的两种方法：

• alignment（image warping）
• seam-driven（seam-cutting）：本文着力点

注意：

alignment方法（如DHW、SVA、APAP、SPHP、APNAP和GSP）无法解决视差（parallax）问题；

seam-driven方法可以解决parallax问题（很关键）。

名词翻译

seam：缝或者接缝

seam-cutting：缝切割或者接缝切割

seam-driven：接缝驱动