图像拼接 | 《Perception-based seam cutting for image stitching》 论文笔记

《Perception-based seam cutting for image stitching》

Signal, Image and Video Processing 2017

springer： https://link.springer.com/article/10.1007%2Fs11760-018-1241-9

pdf： http://www.combinatorics.net.cn/research/Papers_GetFile.aspx?paperID=853

创新点

写作技巧

疑问

名词解释

摘要

1 引言

2 方法

2.1 传统的seam-cutting方法

2.2 基于感知的能量函数

2.2.1 Sigmoid 度量

2.2.2 显著性权重

2.3 Seam-cutting框架

3 实验

3.1 量化评估

3.2 主观评估

3.3 集成性（Integration）

4 总结

参考文献

创新点

论文针对图像拼接中的 seam-cutting进行改进，用一句来描述就是：提出一种 基于感知的能量函数（perception-based energy function），找到感知上最佳的 seam-cutting。

实质上，是对能量函数（energy function）中的平滑项（smoothness term）做了修改

TODO：对数据项能不能有创新？！

具体创新剖析：

• 使用sigmoid度量色差代替欧几里得度量色差，即融入感知性，其是非线性（nonlinearity）
• 加入显著性权重（salient weight），其是非均匀性（nonuniformity）

更具体一点剖析：

首先使用SIFT[25]从输入的图像中检测并匹配特征，并使用 RANSAC[14] 来确定一个用于对齐图像的全局homography warp。然后对于重叠区域， 我们使用 Ostu算法[27] 来估计阈值 τ，使用显著性目标检测算法[38] 来计算像素显著权重（创新点）。最后使用 graph-cut optimization[3] 来获得 seam，并通过 gradient domain fusion[28]方法融合对齐的图像来创建全景图像。

写作技巧

整篇聚焦在改进 seam-cutting中能量函数的平滑项，提高图像拼接鲁棒性。

疑问

• 如何证明引入感知项会提高 seam-cutting效果？
• 感知项与人类感知怎么建立联系？
• 为什么使用Ostu算法能确定阈值？

名词解释

• Image alignment 可以翻译成图像对齐，也可以翻译成图像对准。
• artifact 可以翻译成伪影
• seam 可以翻译成接缝，也可以返程成缝
• seam-cutting 可以翻译成切缝，也可以翻译成缝合线

摘要

由于不完美的图像拍摄，图像拼接在消费级摄影中仍然具有挑战性。最近的作品表明，切缝（seam-cutting） 方法可以有效地减轻局部错位（local misalignment）产生的伪影。通常，切缝方法是以能量最小化来描述的。然而，现有的方法很少对其能量函数考虑到人类感知（human perception），这有时会导致存在另一个感觉上比具有最小能量的感觉更好的接缝（ 表示计算出最佳的缝合线不一定是视觉上最佳的缝合线）。在本文中，我们提出了一种新颖的基于感知（perception-base）的切缝方法，该方法将人类感知的非线性（nonlinearity）和非均匀性（nonuniformity）考虑进能量最小化中。我们的方法使用sigmoid度量来表征色彩歧视和显著性权重的感知，以模拟人眼倾向于更注意显著对象。另外，我们的方法可以很容易地集成到其他拼接方法中。代表性的实验证明了传统切缝方法的实质性改进。

1 引言

图像拼接主