论文《协调立体计算的多个视差方案》学习

《Coordinating Multiple Disparity Proposals for Stereo Computation》
（2016 SCI 会议）
摘要： 虽然立体计算在过去的几十年里取得了很大的进展，但大面积的无文区域仍然具有挑战性。基于分段的方法可以很好地解决这一问题，但其性能对分段结果比较敏感。在这篇论文中，我们通过对绝对差异和相对差异的多重建议来减轻敏感性。这些建议提供了丰富的表面结构的描述。特别是，距离像素间的相对视差可以编码大的结构，这对于处理大的无纹理区域至关重要。在MRF模型中，提案通过点竞争和成对协作进行协调。在推理过程中，动态规划以不同的步长在不同的方向上进行，从而更好地保留了远程连接。在实验中，我们仔细分析了主要成分的有效性。2014年Middlebury和KITTI 2015立体声基准测试的结果表明，我们的方法与最先进的方法相当。

1、简介

立体计算有许多应用，如三维重建[7,25]，自动驾驶[10]，视图合成[20] 等。均值-虽然它总是遭受匹配的歧义由于噪音，低或重复的纹理，和闭塞。为了消除匹配的模糊性，许多工作集中在对视差或曲面的先验处理上。成本过滤方法[22，36，15]假设本地支持区域应该具有相同的差异。尽管大多数基于能量的方法[33、32、11]在相邻像素倾向于具有相似的差异或位于同一表面之前施加平滑度。值得注意的是，颜色图像的分割[38,29,16]被用来预先构建视差。分割提供了关于深度不连续的线索，并可能将属于相同规则表面的点分组。在超像素上建立一个常规的三维表面模型可以帮助保持深度的不连续性，特别是可以恢复大的无纹理区域的视差。

基于分割的方法的一个主要挑战是如何正确地分割图像，使表面碎片和深度不连续都得到很好的保护。在欠分割的情况下，超像素不能用单一的表面模型来解释。在过度分割的情况下，超混合可能会变得太小而无法估计可靠的表面模型。在一般情况下，如何选择合适的分割尺度仍是一个悬而未决的问题。我们考虑使用多段分割，以获得一组丰富的重叠曲面片段。从这些碎片中，我们可以折中出一个合适的3D场景描述，避免了在选择分割方法和参数时过早做出决策的风险。

在本文中，我们提出了一种策略，从不同的细分中产生多组视差建议，从而使视差规范化。视差建议包括像素对之间的绝对视差和相对视差。绝对差异是表面模型细化的初始差异，因而更可靠。相对差距集中在表面结构上。与传统的局部平滑先验不同，这些两两关系是结构相关的，而长程关系可以直接对大结构进行编码。

我们提出了一个由点对点竞争和两两合作构成的协调方案。点向竞争只选择最好的绝对差异，可以有效地抑制离群值。成对合作对相对差异进行投票，这可以区分人为的界限。该协调方案由非局部连接的MRF模型实现。在推理过程中，我们采用了SGM算法，通过在不同步长下执行一维动态规划，在不损失大量计算效率的前提下，较好地保留了长距离连接。

本文的贡献主要有三方面:

• 我们使用三维曲面来生成多个视差模型，其中绝对视差建议是可信赖的点向估计，相对视差模型反映了三维结构。
• 我们制定了一个协调方案来调解多个悬殊建议。该方案包括点竞争和成对协作。它们都嵌入到一个统一的MRF模型中。
• 我们建议在非局部连接的情况下，通过在不同方向上执行不同空间步长下的一维动态规划，找出近似最优的MRF模型。

6. 结论

提出了一种基于多视差建议的立体视觉方法。该视差建议由基于多分割的三维表面碎片生成，然后通过点向竞争和两两协作来协调，形成具有远程连接的MRF模型。实验结果表明，该方法综合了多种方案的优点。验证了协调方案中两部分的互补能力。此外，在长范围约束下，我们的方法能够处理低纹理区域。2014年米德尔伯里和2015年基蒂的立体数据集排名表明，我们的方法取得了与最先进的可比结果。