AAAI 2025！单目深度MDE结合多视角MVS实现弱纹理区域3D重建！

点击下方卡片，关注“3D视觉之心”公众号

第一时间获取3D视觉干货

>>点击进入→具身智能之心技术交流群

更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。

0. 论文信息

标题：DVP-MVS: Synergize Depth-Edge and Visibility Prior for Multi-View Stereo

作者：Zhenlong Yuan, Jingguo luo, Fei Shen, Zhaoxin Li, Cong Liu, Tianlu Mao and Zhaoqi Wang

机构：中科院计算所、哈工深、南京理工

原文链接：https://arxiv.org/abs/2412.11578

代码链接：https://github.com/ZhenlongYuan/DVP-MVS

作者主页：https://zhenlongyuan.github.io/

1. 读者理解

这篇文章介绍了一种名为DVP-MVS的多视图立体重建方法，旨在有效解决在纹理稀疏区域中常见的模糊匹配和不稳定的补丁变形问题。DVP-MVS方法创新性地结合了深度边缘对齐先验和跨视角先验，通过引入深度边缘对齐策略来避免意外的边缘跳跃，并通过跨视角深度重投影恢复可见区域，从而提高了重建精度和鲁棒性。

文章清晰地阐述了DVP-MVS方法的核心思想及其创新点，提供了详细的实验结果，展示了该方法在ETH3D和Tanks & Temples基准测试中的出色表现。该研究为多视图立体重建领域中的纹理稀疏区域提供了有效的解决方案，且展示了该方法的强大鲁棒性和良好的泛化能力。

2. 摘要

最近，基于补丁形变的方法在多视角立体视觉中展现出了显著的效果。然而，这些方法通常侧重于探索相关的可靠像素，以减轻形变过程中的匹配模糊，但忽视了边缘跳跃和可见性遮挡造成的形变不稳定问题。为了解决这些问题，我们提出了DVP-MVS方法，该方法通过深度-边缘对齐和跨视角先验的创新结合，实现了更加稳健且具备可见性感知的补丁形变。具体而言，为了避免意外的边缘跳跃，我们首先使用Depth Anything V2，并通过Roberts算子初始化粗略的深度图和边缘图，然后利用腐蚀-膨胀策略进一步对齐这两个图，生成精细的边界以指导补丁形变。此外，我们将视角选择权重重新定义为可见性图，并通过跨视角深度重投影恢复可见区域，进而将这些区域作为跨视角先验，帮助实现具有可见性感知的补丁形变。最后，我们通过引入基于视角选择的聚合可见半球法线以及基于极线的局部投影深度差异，进一步优化了传播和精细化过程。我们在ETH3D和Tanks & Temples数据集的结果，证明了该方法的SOTA性能。

3. 介绍

我们提出了DVP-MVS方法，它创新性地结合了深度-边缘对齐和跨视角先验，从而促进了稳健且具有可见性感知的补丁形变。 我们的贡献如下：

1. 对于基于补丁形变的MVS方法，我们引入了深度-边缘先验，通过腐蚀-膨胀策略对粗略的深度和边缘信息进行对齐，生成细粒度的均匀边界，以保证形变过程的稳定性。

2. 我们通过重定义视角选择权重并通过重投影恢复可见区域，构建了可见性图，并将其作为跨视角先验，促进具有可见性意识的补丁形变。

3. 考虑到多视角几何一致性，我们通过引入聚合可见半球法线和基于极线的局部投影深度差异，进一步改善了传播与精细化过程。

4. 我们在ETH3D和Tanks & Temples基准测试中实现了最先进的性能。

4. 算法解析

深度边缘对齐先验：

在传统的多视角立体（MVS）方法中，补丁变形常常依赖于对周围可靠像素的搜索来减少匹配歧义，但在一些纹理缺失区域，变形过程可能会遭遇“边缘跳跃”现象。这种现象发生在深度不连续的区域（例如边缘或阴影区域），造成变形后的补丁包含了不一致的深度信息，从而导致重建错误。

为了解决上述问题，深度边缘对齐先验被提出。首先，通过Depth Anything V2模型获取初始的粗略深度图（提供全局的深度信息）以及使用Roberts算子提取边缘图（提供边缘信息），从而得到包含深度和边缘信息的粗略图。接着，方法利用侵蚀-膨胀（erosion-dilation）策略对这些图进行细化和对齐。具体而言，首先通过侵蚀操作去除不一致的区域，分割异质区域，再通过膨胀操作来合并同质区域，最终得到细化的同质边界。这个步骤保证了补丁变形过程仅在深度连续的区域内进行，避免了边缘跳跃。

跨视角先验：

在多视角立体匹配中，由于不同视角之间的遮挡和视角变化，同一场景的某些区域可能在某些视图中不可见。当这些不可见区域出现在补丁变形过程中时，可能会被错误地包含在变形后的补丁中，从而导致不准确的匹配结果和深度估计。

为了解决这个问题，跨视角先验被提出。该方法首先基于现有的视角选择策略，通过重新计算视角选择权重来生成初始的视角图。接着，采用跨视角深度重投影技术进行后验证。具体来说，假设某个像素在参考图像中不可见，我们将该像素的深度信息投影到源图像上，找出该像素的对应像素，并将其深度反投影回参考图像，比较重投影像素与原像素的位置差异。如果差异小于某个阈值，则认为该像素在该视角下是可见的。最终，这些可见像素将被用于更新视角图，从而恢复原始的可见区域。

几何驱动的传播和细化：

在传统的MVS方法中，传播和细化阶段常常依赖于随机生成的深度假设来进行多视角间的匹配，这种方法忽视了几何一致性，可能导致误匹配或不准确的深度估计。特别是在深度估计误差较大的区域，传统方法的传播和精炼容易失败，导致重建结果产生误差。

DVP-MVS方法通过引入几何一致性来改进传播和精炼过程。首先，该方法通过聚合多视角的法线信息，来约束每个像素的法线范围。对于每个像素，方法根据其在不同视角中的可见性，计算与该像素相对应的多个源视角中的法线，并通过法线的聚合来限制法线的变化范围，从而增强几何一致性。在精炼阶段，方法通过反投影计算深度间的局部差异，并结合视角间的几何关系，优化每个像素的深度估计。

5. 实验

实验部分主要通过对ETH3D和Tanks & Temples（TNT）数据集的定量和定性评估来验证所提出的DVP-MVS方法的效果。实验结果表明，DVP-MVS在这些数据集上相较于现有的最先进的学习型和传统MVS方法，均取得了最佳的F1分数、完整性和准确率，特别是在大面积纹理缺失区域的重建中表现出色。定量结果显示，DVP-MVS在多项指标上都优于其他方法，展示了其卓越的鲁棒性和泛化能力。此外，文章还通过消融实验验证了每个关键组件（如深度边缘对齐先验、跨视角先验和几何驱动的传播与精炼）对最终性能的贡献。

6. 总结

本文提出了DVP-MVS方法，其解决了多视角立体重建中的关键问题，特别是在纹理缺失和视角变化较大的场景中。文章指出，DVP-MVS通过深度边缘对齐先验、跨视角先验和几何驱动的传播与精炼，有效地提高了补丁变形的稳定性和深度估计的精度。实验结果表明，该方法在多个数据集上表现出了优越的性能，超越了现有的最先进方法，证明了其卓越的鲁棒性和广泛的适用性。

【3D视觉之心】技术交流群

3D视觉之心是面向3D视觉感知方向相关的交流社区，由业内顶尖的3D视觉团队创办！聚焦三维重建、Nerf、点云处理、视觉SLAM、激光SLAM、多传感器标定、多传感器融合、深度估计、摄影几何、求职交流等方向。扫码添加小助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

扫码添加小助理进群

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区，也是最专业最大的交流平台，近1500人。主要关注具身智能相关的数据集、开源项目、具身仿真平台、VLA、VLN、Diffusion Policy、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等方向。星球内部为大家汇总了近40+开源项目、近60+具身智能相关数据集、行业主流具身仿真平台、各类学习路线等，涉及当前具身所有主流方向。

扫码加入星球，享受以下专有服务：

1. 第一时间掌握具身智能相关的学术进展、工业落地应用；
2. 和行业大佬一起交流工作与求职相关的问题；
3. 优良的学习交流环境，能结识更多同行业的伙伴；
4. 具身智能相关工作岗位推荐，第一时间对接企业；
5. 行业机会挖掘，投资与项目对接；