Geometric Structure Preserving Warp for Natural Image Stitching（针对自然图像拼接的几何结构保持变形方法）

代码和数据集

https://github.com/flowerDuo/GES-GSP-Stitching

摘要

保持场景中的几何结构在图像拼接中起着至关重要的作用。然而，大多数现有的方法忽略了直线或曲线反映的大规模布局，降低了整体拼接质量。为了解决这个问题，这项工作提出了一种结构保持拼接方法，产生的图像具有自然的视觉效果和较少的失真。我们的方法
首先采用基于深度学习的边缘检测来提取各种类型的大尺度边缘。
然后，提取的边缘进行采样，以构建多组三角形来表示几何结构。
同时，引入几何结构保持（GES）能量项，使这些三角形进行相似变换。
提出了一种优化的GES能量项，合理确定采样点在几何结构上的权重，
并将其加入全局相似性先验（GSP）拼接模型GES-GSP中，实现局部对齐与几何结构保持之间的平滑过渡.
通过在拼接数据集上的综合实验，验证了GES-GSP的有效性。实验结果表明，该方法在保持几何结构方面优于现有的几种方法，拼接效果更自然。

1.引言

3.本文方法

1.分析了GSP[3]的局限性。
2.详细介绍提出的方法。
 大规模边缘提取。
 几何结构标识项。
 拼接模型。

3.1.GSP拼接方法的局限性

GSP[3]是一种基于网格优化的缝合方法，它构造了一个具有多个约束的能量函数。设$V_i$ 和$E_i$分别表示图像$I_i$的网格中的顶点和边的集合。$V$表示所有图像中所有顶点的集合。GSP方法试图找到一组变形的顶点位置$\hat{V}$，使得能量函数$\psi (\hat{V})$最小化。
能量函数由三个项组成：
 对齐项-----${\psi }_a(\hat{V})$:保证图像变换后的对齐精度。
 局部相似项-${\psi }_l(\hat{V})$：保证每个网格都经过相似变换。
 全局相似项-${\psi }_g(\hat{V})$：保证每个图像都经过整体相似变换。
$$\hat{V}=\underset{\hat{V}}{\mathrm{argmin}}{\psi }_a(\hat{V})+{\lambda }_l{\psi }_l(\hat{V})+{\psi }_g(\hat{V})\text{\hspace{1em}(1)}$$
可以看出，GSP [3]方法的局部相似项和全局相似项在一定程度上保护了场景结构。同时，GSP以网格为优化单元，可以保护每个网格中的局部几何结构。然而，当一个局部几何结构跨越多个网格时，由于每个网格的变换不同，其结构可能会被破坏。(那么这个问题是如何解决的呢)
如图1（e）所示，与图1（f）中所示的具有几何结构约束的拼接结果相比，缺乏大规模几何结构保留影响了结果的自然度。

3.2.大规模几何边缘提取

在真实的场景中存在着直线、光滑曲线等明显的边缘结构，其中光滑曲线更为常见。如果这些突出结构在缝合过程中发生变形，则缝合结果的自然性不能得到保证。因此，图像中大尺度边缘的提取和保护对拼接性能有着重要的影响。

受计算机视觉深度学习进展的启发，我们使用基于卷积神经网络（CNN）的整体嵌套边缘检测（HED）[26]方法来提取图像的大规模边缘。HED解决了边缘和物体边界检测中的模糊性问题，滤除了许多弱边缘，突出了物体的轮廓边缘结构。然后，经过分支切割和角点断开处理后，得到初步表征场景几何结构的轮廓边缘结构。

HED [26]从图2（a）中提取的场景的大尺度边缘如图2（b）所示，它们代表图像中明显的曲线和直线。然而，仍然存在边缘的不连续性和线结构的部分缺失。为了解决这个问题，我们将LSD [22]提取的线添加到获得的边缘结构中。通过折线重连、共线约束等后处理，进一步细化场景的大尺度边缘，提高物体几何结构的完整性。如图2（c）所示，大多数物体的几何结构都可以用几条简洁而完整的轮廓线很好地表示。

3.3.基于三角采样的几何结构保护

在得到反映图像中几何结构的连续大尺度边缘结构后，需要在拼接模型中对其进行有效的表示。与[15]类似，采样点在几何边缘上等距设置。每个采样点与几何结构的端点形成三角形。几何结构的变换间接受到每个采样点对应的三角形上的相似变换约束[7]的约束，这也适用于直线结构。如图3（a）所示，对表示几何结构的连续曲线进行等间隔采样，由曲线上的两个端点和采样点组成一组三角形。显然，如果这些三角形只在图像变形中进行相似性变换，那么几何结构也可以得到有效保护，如图3（d）所示。

点$V_i$的坐标可以由$V_a$，$V_b$和$(u_i,h_i)$表示。
KaTeX parse error: Unknown column alignment: * at position 67: …{\begin{array}{*̲{20}{c}} 0&1\\ …
其中，$(u_i,h_i)$是局部坐标系内的已知坐标，并且在三角形经过相似变换后其值不会改变。$(u_i,h_i)$可以通过三个顶点坐标来计算。
$$\begin{array}{c}\begin{array}{r}{h}_i=H\left(\frac{||(V_i-V_a)\times (V_b-V_a)||}{||V_b-V_a||}\right),\\ u_i=U\left(\frac{\sqrt{||V_i-V_a|{|}^2-{h_i}^2}}{||V_b-V_a||}\right)\end{array}\end{array}\text{\hspace{1em}(3)}$$
其中，
KaTeX parse error: Unknown column alignment: * at position 48: …{\begin{array}{*̲{20}{c}} {\begi…

3.4基于几何结构保持的GSP拼接方法

结果发现，在GSP [3]模型中加入方程（7）作为新的约束项，改进效果不佳。这是因为对每个样本三角形使用相同的相似性变换，而不管它们是在重叠区域中还是在非重叠区域中。添加几何结构约束后，在非重叠区域，需要保持较强的几何约束;在重叠区域，需要保持几何约束，并保证图像对齐。因此，几何边缘上采样点的权值需要合理设置，这对于在图像变形和结构保持之间保持最佳平衡具有重要作用。
为了保证拼接结果的整体自然度，将非重叠区域和重叠区域的采样点的权值分别设置为1和小于1。图4（a）示出了当两个图像被预拼接时采样点的权重图的示例。
P0、P1和P2表示右图（绿色）中曲线结构上的三个采样点。P0位于右图像的非重叠区域，几何结构约束完全由右图像主导，因此P0的权重为1。P1倾向于集中在右图像的中心位置，但它位于左图像（红色）的边缘。因此，认为P1的位置处的几何结构约束由右图像支配。同样，P2的权重小于P1。

因此，我们通过使用从采样点到重叠区域边界和图像边界的最小距离来计算权重。注意，当两个图像的重叠区域是正方形时，获得最优解，并且期望重叠区域中相同位置的两个采样点的权重之和为1。因此，我们使用中心对称函数，例如余弦（图4（B）），计算重叠区域中采样点权重的公式为

本文的拼接方法目的：找到一组变形的顶点位置，使得总能量项局部最小化，每个网格经过相似性变换，使全景图像具有更好的细节信息。
在全局上，为每个图像找到合适的缩放和旋转，以保持良好的结构。保护图像的显著几何结构。
能量函数由以下四项组成
 对齐项-----${\psi }_a(\hat{V})$:保证图像变换后的对齐精度。
 局部相似项-${\psi }_l(\hat{V})$：保证每个网格都经过相似变换。
 全局相似项-${\psi }_g(\hat{V})$：保证每个图像都经过整体相似变换。
 相比于GSP，多了一个“几何结构保持项”：${\psi }_{ges}(\hat{V})$

4.实验

SIFT[18]特征用VLFeat[21]提取，边缘用HED[26]和LSD[22]提取。对于基于网格的方法，网格尺寸为40×40像素。默认情况下，最小采样点间隔设置为网格大小，并根据几何结构的总长度获得尽可能多的采样点。
为了全面测试该方法的效果和稳定性，我们构建了50个多样化和具有挑战性的数据集(26个来自[2-4，8，14，19，27]和24个我们自己收集的数据)。图像的数量从2到35个不等，图像之间的空间关系是一维和二维的。与GSP[3]相比，我们的方法在图像预处理上花费了一些时间，但时间消耗仍然可以接受。对于800×600的分辨率，GSP拼接两幅图像需要2.37S(图5)，拼接21幅图像需要20.27S(图7)，而本文提出的方法分别需要4.418s和31.168s。由于篇幅有限，请参阅补充材料进行更详细的比较和讨论。

4.1.与最新方法的比较

相比较的方法有：（绿色字体为待查阅的方法）
 AutoStitch[1]
 APAP
 ELA[10]
 SPW[13]
 LPC[8]
 GSP[3]
比较结果：

总结：总之，AutoStitch [1]和ELA（球面投影）[10]会受到球面投影引起的失真的影响。APAP [27]和ELA [10]遭受严重的形状和面积失真，特别是在非重叠区域。SPW [13]和LPC [8]保护线结构并抑制失真，形状和面积在一定程度上被拉伸和非均匀放大。但是，对于复杂的真实的场景，仅仅使用直线特征是不够的，所以效果仍然不是很好。GSP [3]为每个图像选择适当的缩放和旋转。虽然它很好地解决了上述问题，但图像中的几何结构被破坏了。对于我们的方法来说，要保留的结构类型没有限制，因此它可以保持提取的不同几何结构，并在图像变形和结构保持之间获得最佳平衡。因此，我们的方法得到的结果更自然。

4.2.讨论

在这一节中，分析了采样间隔和采样点权重以及失真度评价对拼接结果的影响。

4.2.1采样间隔

如上所述，几何结构通常跨越多个网格。因此，我们为几何结构上的每个网格设置不同数量的采样点，以评估对几何结构保持的影响。具体地，设置了五种方案，例如，每网格采样四点、两点和一点，以及每两个网格和每四个网格采样一点。
如图8所示，存在跨越建筑物上的多个网格的近似水平的边缘。当每个网格的采样点数大于1时，可以获得较好的几何结构保持效果;反之，几何结构保持效果会降低。然后，为了简化采样过程，我们在实验中每个网格只采样一个点。

4.2.2采样点的权重

几何结构上采样点权重的设置对拼接过程中的对齐精度和自然度至关重要。文中讨论了自适应权重和等权重的影响。
图9显示了三种拼接方法的示例，包括GSP [3]、所提出的等权重和自适应权重方法。通过GSP获得的结果显示地面上的失真（绿色特写）。建议的等重方法有一定的效果（黄线），但红框中的部分与GSP的相应部分相比是弯曲的。这种形状弯曲是由于几何结构上采样点的权重相同，这使得重叠区域中的拼接难以在局部对齐和几何结构保留之间平衡。最后，如红色框和线所示，我们的方法可以通过为每个采样点调整权重来获得更自然的拼接结果，同时失真更小。

4.2.3几何结构保持与GSP的比较

文中给出了用本文方法和GSP [3]方法保持几何结构的两个例子。图10示出了图6中的原始图像的局部变形。图像中曲线部分（红框）所示的网格变形表明，通过不保留几何结构的GSP方法获得的结果表现出拱形弯曲。同时，我们的GES-GSP得到的结果中的失真比GSP得到的结果小得多。同样，在图11中，垂直路灯（红色框）中的网格显示出明显的弯曲，而桥梁（绿色框）在GSP得到的结果中也是拱形的。

5.结论

本文提出了一种不受特定边缘类型限制的几何结构引导的图像拼接方法。首先，采用基于深度学习的大规模边缘检测方法和传统的直线检测方法，提取反映场景结构信息的各类边缘。然后，对结构执行三角形采样以获得表示对应结构的三角形集合。最后，利用得到的三角形构造几何结构保持项，进行相似性变换以实现内容保持。
在所提出的GES-GSP方法中，采样点的自适应权重在对齐和几何结构保持之间进行平衡，以获得更自然的拼接结果。与现有方法相比，GES-GSP能够尽可能地保留不同类型的几何结构，从而获得高质量的全景图像。未来，我们将探索不同几何结构之间的空间约束，进一步获得更引人注目的拼接结果。