阅读笔记（ECCV2016）SEAGULL:Seam-Guided Local Alignment for Parallax-Tolerant Image Stitching

Seung-Yim Yau

已于 2024-02-01 14:23:17 修改

阅读量2.2k

点赞数 2

分类专栏：传统版图像拼接文章标签：图像拼接

于 2018-08-12 14:45:28 首次发布

本文链接：https://blog.csdn.net/Miracle0_0/article/details/81606388

版权

传统版图像拼接专栏收录该内容

38 篇文章 4 订阅

订阅专栏

参考文献：

Lin K, Jiang N, Cheong L F, et al. Seagull: seam-guided local alignment for parallax-tolerant image stitching[C]//European Conference on Computer Vision. Springer, Cham, 2016: 370-385.

截至2018年9月4日，该论文在Google学术上的引用量为14.

林开模·大神的主页：http://www.linkaimo.com/

摘要：具有大视差的图像拼接是一个具有挑战性的问题。全局对齐通常会引入明显的伪像。常见的策略是执行部分对齐以便于搜索用于缝合的良好接缝。与在对齐之后顺序执行接缝估计过程的现有方法不同，我们明确地使用估计的接缝来指导优化局部对齐的过程，使得接缝质量在每次迭代中得到改善。此外，引入了一种新颖的保持结构的变形方法，以在变形间保持突出的曲线和线结构。这些措施大大提高了我们的方法在处理具有大视差的各种具有挑战性的图像时的有效性。

简介：传统的图像拼接技术估计全局2D变换（例如单应变换）以对准输入图像[22,3,23]。基本假设是图像是在固定的视点拍摄的，或者场景大致是平面的。违反这些假设将导致视觉伪像，例如重影或未对准，这是全局2D变换无法解释的。变形图像和参考图像之间的这种未对准被称为视差，并且在本文中，我们主要想要解决在大视差下的图像拼接的问题。

在本文中，我们提出了一种缝隙引导的局部对齐（SEAGULL）方案，用于在存在大视差的情况下进行图像拼接。顾名思义，我们通过执行接缝引导特征重新加权来迭代地寻找良好的局部对齐。具体而言，我们根据当前的对准误差（即，对准后两个匹配特征之间的距离）和它们到当前估计接缝的距离来对特征匹配进行加权。

归纳并分类·拼接方法：

基于Homography的方法。早期方法[23,3]仅使用一个单一的单应性来对齐两个图像。如果从相同的视点拍摄图像或者场景大致是平面的，则这些方法可以产生良好的拼接结果。然而，当存在视差时，在实践中可以容易地违反这些假设。尽管可以使用先进的合成方法（例如，多波段混合[4]，接缝切割[15]）来在一定程度上缓解该问题，但是当视差大时，仍然存在伪影。 Gao等[10]当场景可以由两个主导平面大致建模时，使用双单应性模型来缝合图像并获得良好的结果。
空间变化的变形。引入空间变化的变形方法[20,19,25]来处理具有视差的图像。结合先进的合成技术，这些方法对于为视差较小的图像生成视觉上合理的拼接结果非常有效。尤其是Lin等[19]估计平滑地改变仿射域以对齐。萨拉戈萨等[25]提出使用as-projective-as-possible warps来插值平滑变化的投影拼接域。Li等[16]使用稀疏特征匹配和线对应，开发了用于图像对齐的双特征变形模型。然而，他们的方法需要预先确定线对应，这对于具有大视差的图像来说是一项艰巨的任务。另外，对于没有对应的线结构，这种方法不能保证它们在变形后的直线性。另一方面，只要检测到它们，我们的方法就可以有效地保留所有曲线和线结构。
形状保持方法。 形状保持翘曲方法主要旨在在给定特定对准模型的情况下产生看起来自然的缝合结果。 Chang等[6]提出了一种形状保持半透视（SPHP）扭曲，它可以平滑地从重叠区域中的投影变换转变为非重叠区域中的相似变换，后者的目的是抵消由此引起的不自然的视角。与投影变换相关的奇怪观点（例如过度倾斜）。 Lin等 [17]还提出了一种变形模型，它结合了两个拼接字段（单应性和全局相似性）来生成自然的全景图。这些方法没有明确处理视差。
接缝驱动的缝合方法。虽然已经证明现有的空间变化方法在具有中等视差的图像上工作良好，但Zhang和Liu [26]认为它们可能在具有大视差的图像上失败。Gao等[11]假设在估算翘曲模型时不需要使用所有特征匹配，只要最终目标是产生视觉上合理的结果。 Zhang和Liu [26]使用这种观察并提出了一种混合变换模型来处理具有大视差的图像。他们结合了单应性扭曲和内容保留扭曲（CPW）[20]来对齐图像。开发了随机特征选择算法以假设可能导致良好缝合接缝的单应性候选。顾名思义，以随机方式搜索扭曲假设，其中当前传递不使用从先前迭代获得的对齐知识。另一方面，我们的方法通过根据它们到特定接缝的距离调整特征权重来迭代地重新确定变形模型。
对于具有大视差的图像，全局对齐作为考虑底层相机场景几何结构的过度简化模型，不能产生视觉上合理的拼接结果（参见图1）

注意：红色椭圆圈是我找的细节处。绿色椭圆圈是作者给出的。1、原图像明显多出了一部分，但是最终图像没出现；2、最终图像的鹅卵石貌似变形了；3、最终图像的【广告牌】好像变弯了。

本文算法·流程：

注：南开大学·Nan Li老师课题组有相似的改进算法了，相应的论文挂在arXiv上了。

结构保持变形。Kaimo Lin说可以保持曲线不变，这很厉害。

l论文的数据集：（曲线结构复杂多变）

实验结果：（很大地改进，效果很Nice！）

注：图9中的红圈是我标记的。左右两边失真比较严重。可借鉴Nan Li老师的一篇文章，发表在IEEE Transactions on Multimedia上的。

结论：

在本文中，我们提出了一种用于大视差图像拼接的接缝引导局部对齐方法。我们通过自适应特征加权将局部对齐计算和接缝估计紧密结合在一起。突出的曲线和线条结构在变形期间通过强制执行本地和非本地来明确保留相似性约束。我们的基于超像素的特征分组方法有效减少对齐假设的数量，同时仍然发现良好的初始对齐以便以后优化。所提出的方法在具有大视差的各种图像对上进行评估，并且优于最先进的缝合在有效性和稳健性方面。