论文笔记1-DUSt3R: Geometric 3D Vision Made Easy

DUSt3R: Geometric 3D Vision Made Easy

代码：https://github.com/naver/dust3r

目录

DUSt3R: Geometric 3D Vision Made Easy

Abstract：

核心：

网络架构

点匹配 

相机内参估计 

相对姿态估计

绝对姿态估计（视觉定位）

创新性：

无需相机校准信息

点图映射（Pointmap）

基于Transformer的网络架构

端到端的3D重建流程

全局对齐策略

贡献：

简化3D重建流程

提高效率和准确性

推动研究进展

对未来三维重建的促进作用

推动无约束重建技术的发展

提高研究和工业界的效率

PS（复现结果）

---

Abstract：

采取了相反的立场并引入了 DUSt3R，用于任意图像集合的密集和无约束立体 3D 重建，无需有关相机校准或视点姿势的先验信息即可运行。在提供两个以上图像的情况下，进一步提出了一种简单而有效的全局对齐策略，该策略将所有成对点图在一个公共参考系中表示。网络架构基于标准的 Transformer 编码器和解码器，能够利用强大的预训练模型。公式直接提供了场景的 3D 模型以及深度信息。总之，DUSt3R 使许多几何 3D 视觉任务变得简单。

图1

核心：

设计目的：高效实现点云生成和三维重建

网络架构

网络架构如图 2 所示，它由两个图像组成，每个分支包括一个图像编码器、一个解码器和一个回归头。两个输入图像首先由相同的权重共享 ViT 编码器以连体方式编码，将生成的标记表示 F 1 和 F 2 传递给两个 transformer 解码器，这两个解码器通过不断交换信息。最后，两个回归头输出两个相应的点图和关联的置信度图。重要的是，这两个点图在第一张图像  的同一坐标系中表示。

图2

点匹配 

根据输出点图进行点匹配：建立两幅图像的像素之间的对应关系可以通过在3D点图空间中的最近邻（NN）搜索来简单地实现

相机内参估计 

通过求解简单的优化问题来估计相机固有参数

相对姿态估计

一种方法是进行 2D 匹配并恢复内在函数，然后估计 Epipolar 矩阵并恢复相对姿态

另一种方法是使用 Procrustes 对齐

Procrustes 对齐对噪声和异常值很敏感。更稳健的解决方案是依靠带有 PnP的 RANSAC

绝对姿态估计（视觉定位）

获得的 2D 像素对应关系中运行 PnP-RANSAC，产生 2D-3D 对应关系

根据点云图像与的真实场景之间的比例，通过适当缩放此姿态来将此姿态转换为世界坐标。

创新性：

无需相机校准信息

DUSt3R能够在没有任何相机校准信息（包括相机内参和姿态）的情况下，从任意图像集合中进行密集且无约束的立体3D重建。这与大多数现有的多视图立体重建(MVS)算法不同，后者通常需要这些信息来在3D空间中对齐像素。

点图映射（Pointmap）

 该方法提出了一种新的点图映射概念，将成对的图像重建问题视为点图的回归问题，从而放宽了传统投影相机模型的严格约束。这种方法不仅统一了单目和双目重建的情况，而且还能够在多图像情况下，通过一个简单的全局对齐策略，将所有成对点图表达在一个共同的参考框架中。

基于Transformer的网络架构

 DUSt3R基于标准的Transformer编码器和解码器构建网络架构，这使得模型能够利用强大的预训练模型，并直接提供场景的3D模型和深度信息。

端到端的3D重建流程

该方法提出了第一个从未经校准的图像中进行端到端3D重建的完整流程，统一了单目和双目3D重建。

全局对齐策略

为了处理更大的场景，DUSt3R引入了一种快速简单的全局对齐后处理优化方法，使得从多个图像中预测的点图能够对齐到一个统一的3D空间中。

贡献：

简化3D重建流程

通过消除对精确相机参数的需求，DUSt3R简化了3D重建的流程，使得用户更容易从图像中获取3D信息，这对于文化遗产保护、建筑建模、机器人导航等领域具有重要意义。

提高效率和准确性

DUSt3R在多个3D视觉任务上展示了优异的性能，包括单目和多视图深度估计以及相对姿态估计，这有助于提高相关应用的效率和准确性。

推动研究进展

该方法在3D视觉任务上设定了新的性能记录，推动了3D重建领域的研究进展。

对未来三维重建的促进作用

推动无约束重建技术的发展

DUSt3R的出现可能会激发更多关于无约束3D重建的研究，进一步减少对精确相机参数的依赖。

提高研究和工业界的效率

DUSt3R的高性能和易用性可能会成为研究和工业界在3D重建任务上的首选方法，从而提高整体的工作效率。

PS（复现结果）