《Perception-based seam cutting for image stitching》
Signal, Image and Video Processing 2017
创新点
论文针对图像拼接中的 seam-cutting进行改进,用一句来描述就是:提出一种
基于感知的能量函数(perception-based energy function),找到感知上最佳的 seam-cutting。
实质上,是对能量函数(energy function)中的平滑项(smoothness term)做了修改
TODO:对数据项能不能有创新?!
具体创新剖析:
- 使用sigmoid度量色差代替欧几里得度量色差,即融入感知性,其是非线性(nonlinearity)
- 加入显著性权重(salient weight),其是非均匀性(nonuniformity)
更具体一点剖析:
首先使用SIFT[25]从输入的图像中检测并匹配特征,并使用 RANSAC[14] 来确定一个用于对齐图像的全局homography warp。然后对于重叠区域,
我们使用 Ostu算法[27] 来估计阈值 τ,使用显著性目标检测算法[38] 来计算像素显著权重(创新点)。最后使用 graph-cut optimization[3] 来获得 seam,并通过 gradient domain fusion[28]方法融合对齐的图像来创建全景图像。
写作技巧
整篇聚焦在改进 seam-cutting中能量函数的平滑项,提高图像拼接鲁棒性。
疑问
- 如何证明引入感知项会提高 seam-cutting效果?
- 感知项与人类感知怎么建立联系?
- 为什么使用Ostu算法能确定阈值?
名词解释
- Image alignment 可以翻译成图像对齐,也可以翻译成图像对准。
- artifact 可以翻译成伪影
- seam 可以翻译成接缝,也可以返程成缝
- seam-cutting 可以翻译成切缝,也可以翻译成缝合线
摘要
由于不完美的图像拍摄,图像拼接在消费级摄影中仍然具有挑战性。最近的作品表明,切缝(seam-cutting) 方法可以有效地减轻局部错位(local misalignment)产生的伪影。通常,切缝方法是以能量最小化来描述的。然而,现有的方法很少对其能量函数考虑到人类感知(human perception),这有时会导致存在另一个感觉上比具有最小能量的感觉更好的接缝( 表示计算出最佳的缝合线不一定是视觉上最佳的缝合线)。在本文中,我们提出了一种新颖的基于感知(perception-base)的切缝方法,该方法将人类感知的非线性(nonlinearity)和非均匀性(nonuniformity)考虑进能量最小化中。我们的方法使用sigmoid度量来表征色彩歧视和显著性权重的感知,以模拟人眼倾向于更注意显著对象。另外,我们的方法可以很容易地集成到其他拼接方法中。代表性的实验证明了传统切缝方法的实质性改进。
1 引言
图像拼接主