传统算法-基于MVS的重建学习框架

dahei_zy

已于 2023-08-24 17:14:19 修改

阅读量936

点赞数

分类专栏：【三维重建】文章标签：学习

于 2023-08-23 22:06:01 首次发布

本文链接：https://blog.csdn.net/shisniend/article/details/132451119

版权

【三维重建】专栏收录该内容

7 篇文章 10 订阅

订阅专栏

B站视频《三维重建进展：从传统到深度学习方法全面梳理（上）》视频学习笔记。

经典开源框架：
位姿计算:COLMAP，MVE，openMVG,Slam等;

MVS: COLMAP,MVE,PMVS,SMVS,OpenMVS等
现使用重建方案：COLMAP + OpenMVS
论文研究：
Multi-View Stereo:A Tutoria（综述文章）
Tanks and Temples: Benchmarking Large-Scale Scene Reconstruction（MVS开源框架测评）。

视频左下角好像是论文（我猜）。

COLMAP

COLMAP-SFM

其中包含了SFM：图片-》特征检测-》特征匹配-》BA调整-》点云；步骤和正常SFM 一样。得到稀疏点云。

COLMAP-MVS

1、SFM支持无序图像，在此要实现选择有重合区域的帧作为参考帧，来进行深度图的计算。

2、计算深度图

3、进行几何一致性和光度一致性的优化。

4、滤波与融合

OpenMVS:http://t.csdn.cn/SYeQK

1、输入图像和相机位姿（可以通过colmap来实现）。

2、深度估计的稠密重建

3、点云的融合

4、初始网格的重建

5、网格的优化：通过RGB对几何信息进行优化

6、纹理的贴图

MVS概括

MVS则几乎对照片中的每个像素点都进行匹配，几乎重建每一个像素点的三维坐标，这样得到的点的密集程度可以较接近图像为我们展示出的清晰度。

实现的理论依据在于，多视图照片间，对于拍摄到的相同的三维几何结构部分，存在极线几何约束。（对极几何）

在图片上的一条线上进行探测，寻找两张图片上的同一点。主要方法为逐像素判断，两个照片上的点是否是同一点——

　　为此提出图像点间的“一致性判定函数”

π (p)是使得点p投影到照片上一点的函数， Ω(x) 函数定义了一个点x周围的区域，I(x) 函数代表了照片区域的强度特征，ρ(f, g) 是用来比较两个向量之间的相似程度的

　　ρ函数和Ω函数的具体选择决定这个”一致性判别“的准确度

《Pixelwise View Selection for Unstructured Multi-View Stereo》论文笔记

提出的方法提高了非结构化图像密集重建的技术水平。

（1）像素正态估计嵌入到改进的PatchMatch采样方案。(2)利用三角角、入射角和基于图像分辨率的几何先验进行像素视图选择。(3)“时态”视图选择平滑项的整合。(4)通过双侧光度一致性自适应窗口支持，改善遮挡边界行为。(5)引入多视图几何一致性项，用于同时进行深度/法向估计和基于图像的融合。(6)可靠的深度/正常滤波和融合。无离群值和准确的深度/法线估计进一步允许直接网格化产生的点云。我们在基准上取得了最先进的结果(Middlebury [19]， Strecha[20])。为了在更具挑战性的环境中展示我们的方法的优势，我们处理了一个世界规模的互联网数据集的SfM模型[5]。整个算法作为开源实现作为[8]的一部分发布给公众https://github.com/colmap/colmap。

我们的方法使用像素视图选择执行MVS，用于深度/法线估计和融合。

MVS利用多视图来克服双视图方法固有的遮挡问题。因此，视图选择对MVS的有效性起着至关重要的作用。(3章)

我们的方法旨在直接最大化深度图中估计的表面支持，从而实现更高的完整性和准确性(参见第5节)。

我们的方法通过允许数据集范围内的像素采样来进行视图选择，从而避免了这种限制性选择方案。

3 联合视图选择与深度估计综述

Zheng的方法独立处理每一行 / 列，因此我们将描述限制为单个图像行，并将 l 作为列索引。

从一组非结构化源图像中估计参考图像中像素的深度

深度估计θl最大化了参考图像中的补丁和未遮挡源图像中同源性扭曲的补丁之间的颜色相似性。

二进制指标变量将未遮挡的源图像集定义为。

0：遮挡；1：未遮挡

它们推断深度为θl的参考补丁在源补丁中可见的概率：通过消去常数的A和N 。

在遮挡情况下，两个斑块的颜色分布不相关，在[−1,1]范围内服从均匀分布，概率密度为0.5。

另外，基于归一化互相关(NCC)，利用前平行单应性扭曲来描述参考patch和源patch之间的颜色相似度。

变量决定了参考patch在源图像中可见的的软阈值。

前一像素 l−1 到当前像素 l 的状态转移矩阵为

并激励空间平滑遮挡指标，较大的γ强制相邻像素具有更多相似的指示器indicators,。

给出参考和源图像

然后将推理问题归结为恢复，对于参考图像中的所有L个像素，深度，遮挡指标来自具有均匀先验P (θ)的后验分布，

为了解决首先计算联合概率的计算不可行的贝叶斯方法，并之后在P (X)上进行归一化，Zheng等人使用变分推理理论开发了一个框架，该框架是广义期望最大化(GEM)算法的变体

对于隐马尔可夫链中Z的推断，在GEM的E步中使用了正向倒向算法。PatchMatch启发的采样[46]是GEM M步中推断θ的有效方案。他们的方法迭代求解固定θ的Z，反之亦然，使用交错行/列传播。

全深度推理，当M较大时，由于PatchMatch需要多次计算NCC，计算成本较高。

表示源图像m中的patch与参考patch相似的概率，q(Z)是真实后验P (Z)的近似值。

具有较小Pl(m)的源图像对于深度推断是非信息性的，因此Zheng等人提出了基于蒙特卡罗近似的用于视图选择，通过根据分布对图像的子集S进行采样S∧{1…M}，因此只计算最相似源图像的NCC。

4 算法

4.1 常规估计

Zheng等人[14]使用正面平行单应性在参考图像和源图像之间进行映射，从而导致倾斜结构的伪影[42]。相反，我们估计每像素深度和法线

参考图像中∈P2处的patch会映射到处的源patch

定义从参考到源摄像机帧的相对转换。

K和Km表示参考图像和源图像的校准;

从参考图像到点pl处的平面的正交距离。

在不知道场景的情况下，我们假设在法线的推理中有一个一致的先验P (N)

估计N需要改变等式中的和。(1)和(4)也依赖于N，因为颜色相似度现在基于倾斜而不是正面平行的单应性。因此，选择最优深度和法线为

为了在PatchMatch中对无偏随机正态进行抽样，我们采用了Galliani等人[15]的方法。随着两个未知法向参数的增加，GEM M步每像素的未知数从1个增加到3个。虽然这在理论上需要PatchMatch生成更多的样本，但我们提出了一种有效的传播方案，以保持深度推断的收敛速度。由于深度θl和法线nl在3D中定义了一个局部平面，因此我们传播当前像素xl的光线与前像素 (θl−1,nl−1)的局部表面相交的深度。这利用了表面的一阶平滑性(参见[52])，从而大大加快了优化速度，因为正确的深度沿着表面传播得更快。此外，与使用二分法作为传播全扫描之间的中间步骤的典型法线迭代细化不同(参见[15,46])，我们在每个传播步骤生成一组附加的平面假设。我们观察到，当前最佳深度和正态参数可以具有以下状态:两者都没有最优解，其中一个有最优解，或者两者都有最优解或接近最优解。通过将随机和扰动深度与当前最佳法线相结合，反之亦然，我们增加了采样正确解的机会。更正式地说，在PatchMatch的每一步，我们根据Eq.(4)从假设集中选择像素1的当前最佳估计

式中和表示随机生成的样本。

为了在当前参数接近最优解时对其进行细化，我们将当前的估计扰动为

变量描述一个小的深度扰动，旋转矩阵在的作用下使法向发生小角度的扰动

正态估计提高了重建的完整性和准确性，而新的采样方案既可以快速收敛又可以更准确地估计(第5节)。

4.2 视图选择的几何先验

在像素视图选择中合并几何先验，以提高鲁棒性。在高水平上，计划的先验激励源图像的采样具有足够的基线(三角测量先验)，相似的分辨率(分辨率先验)，和非倾斜的观看方向(事件先验)。与之前的通过预选源图像来解耦推理和每图像的几何先验，工作(例如，[10,47,49])相反，将每像素的几何先验整合到推理中。逐像素几何先验的动机类似于推断逐像素遮挡指标Z。由于源图像的预选是基于稀疏的，因此不完整的场景表示，所选的源视图通常是次优的。在单对参考图像和源图像之间，遮挡边界、三角剖分角度、相对图像分辨率和入射角可能会发生显著变化(图2)。除了光度遮挡指标Z外，结合几何先验可以实现更全面、更稳健的像素级视图选择。在下面，我们详细介绍了提出的先验，并解释了它们与优化框架的集成。

左图:参考视图(R)和三个源视图(1-3)的几何先验图。视图1具有相似的分辨率(红色)，三角形(绿色)和入射角(蓝色)良好，而视图2是倾斜的，分辨率较低。视图3无法看到补丁。右:不同参数的几何先验似然函数。(网上彩色图)

三角先验。Zheng等[14]纯粹基于颜色相似度采样源图像。因此，参考patch与源patch越相似，在视图采样中的选择概率就越高。视点变化小的图像对与小基线重合，自然具有较高的颜色相似度。然而，零基线图像对不携带深度推断信息，因为重构点可以沿着观察光线任意移动而不改变颜色相似度。纯粹的光度选择有利于对这些无信息的视图进行采样。为了消除这种退化情况，我们计算了两个相交的观察射线之间的三角形角与和，作为重建点稳定性的度量。

根据经验，我们选择以下似然函数来描述源图像对重建正确点的信息量。直观地说，该函数为三角剖分角度低于先验阈值α的源图像分配低似然。否则，不会强加额外的视图选择偏好(见图2)。

分辨率先验。非结构化数据集通常包含由多种相机类型在不同观看几何形状下捕获的图像。因此，图像捕捉场景物体的分辨率范围很广。为了避免在计算时出现欠采样和过采样，参考图像和源图像中的patch应该具有相似的大小和形状[47]。相似的尺寸是有利的，因为它可以避免比较在不同分辨率下捕获的图像，例如，由于不同的缩放系数或距离的对象。相似的形状避免了因观看方向不同而造成的源补丁明显扭曲。在形状不同的情况下，同一源补丁内的区域具有不同的采样率。参考补丁与源补丁之间的相对大小和形状的近似度量为，其中bl和bml表示对应斑块所覆盖的面积。在我们的实现中，参考补丁总是正方形的。如果补丁的大小和形状相似，则βml接近于1。为了量化两幅图像在分辨率上的相似性，我们提出似然函数，并将其积分到中。注意，在增加计算成本的情况下，欠采样可以通过对源图像补丁进行自适应重采样来处理。

入射角先验。推断的逐像素法线提供了我们以先验形式编码的解空间的几何约束。估计平面限制了源相机位置和方向的可能空间。通过构造，摄像机位置只能位于平面所定义的正半空间内，而摄像机观看方向必须面向相反的法线方向。否则，反过来了啥也看不见。为满足几何可视性约束，源摄像机κml∈[0，π]的入射角必须在区间0≤κml < π/ 2。在我们的方法中，似然函数编码满足该几何约束的信念。即使在的情况下，这也将一些信念与观点联系起来。这样做的原因是，在初始推理阶段，变量和是未知的，因此几何约束可能还不正确。

综合。我们将先验作为蒙特卡洛视图抽样分布中的附加项集成到推理中，其中，是变分推理过程中的近似值，它们将kl散度（一种衡量两个概率分布之间差异的方法）最小化至真实后验[53]。

这些分布在推理中不需要归一化，因为我们仅仅使用它们作为采样分布Pl(m)的调制器。该公式假设单个先验的统计独立性作为简化近似，这使得使用相对简单的模型对易于理解的几何关系进行优化是可行的。直观地看，基线充足、分辨率相近、观看方向不倾斜的非遮挡图像在视图选择中更受青睐。第5节详细评估了先验，并展示了它们如何提高重建鲁棒性，特别是对于非结构化数据集。

4.3 视图选择平滑

与等式(2)中的似然函数相关联的图形模型使用状态转移概率来模拟传播方向上相邻像素的空间视图选择平滑性。由于采用交变传播方向进行交错推理，Zml会产生振荡，从而产生条纹效应，如图5所示。

为了减少在迭代t中的振荡效应，我们在图形模型中插入一个额外的“时间”平滑因子。在这个新模型中，的状态不仅取决于其相邻像素l−1的状态，还取决于其自身在前一次迭代t−1中的状态。时间状态转移定义为，其中λt越大，优化过程中的时间平滑性越强。

事实上，从t （迭代次数）= 1开始，随着优化的进行，估计的应该稳定在最优解附近。因此，我们自适应地增大状态转移概率为，即迭代t = 1 an和t = T−1中推断的对最终值的影响分别最大和最小。

这两个状态转换被联合建模为：a

图5显示了在优化过程中的演变，并展示了振荡的减少，这也有效地减少了噪声视图采样。

4.4 光度一致性

Zheng等[14]采用NCC计算颜色相似度。NCC在统计上对高斯噪声是最优的，但特别容易产生模糊的深度不连续[54]。受[46,55]的启发，我们通过使用NCC的双边加权适应来减少这些影响。

我们计算参考补丁在的与对应的源补丁在的之间的

为加权协方差

为加权平均值

每像素权值表示局部patch中像素i与其中心像素l在同一平面的可能性。

它是灰度颜色距离和空间距离的函数。其重要性由高斯色散σg和σx相对缩放。

通过将双边加权NCC积分到项中，我们的方法在遮挡边界处获得了更准确的结果，如第5节所示。

4.5几何一致性

由于噪声、模糊、闭塞等原因，MVS通常会出现总体异常值。在这些情况下，不同假设的光度一致性是模糊的，因为大的深度变化只会引起小的成本变化。空间平滑性约束通常可以减少但不能完全消除产生的伪影。过滤这些异常值的一种流行方法是通过左右一致性检查作为后处理步骤来强制多视图深度一致性[15,46]。

与大多数方法相比，我们将多视图几何一致性约束集成到推理中，以提高推理的完整性和准确性。与Zhang等人[56]类似，我们基于多个视图的光度和几何一致性来推断最佳深度和法线。由于光度模糊性通常是单个视图所特有的(除了无纹理的表面)，利用来自多个视图的信息通常可以帮助确定正确的解决方案。我们将两个视图之间的几何一致性计算为正反向重投影误差式中，表示源图像到参考图像的投影后向变换。它由源图像估计在前向投影处插值而成。直观地说，如果重投影误差ψml很小，估计的深度和法线是一致的。由于计算的限制，我们不能考虑源图像中的遮挡指标进行反向投影。因此，为了处理源图像中的遮挡，我们采用鲁棒化的几何代价 using 作为常量正则化器，并将作为最大前向后重投影误差。然后，选择最优深度和法线为：

几何一致性项在似然函数中建模为，第4.6节展示了如何将其推理整合到整体优化框架中。第5节中的实验证明了这个公式如何提高了结果的准确性和完整性。

4.6 融合

所提出算法的各个部分整合到整体优化框架中来将其置于上下文中[14]。本文算法的联合似然函数P (X, Z， θ， N)定义为

在输入图像X上，遮挡指标Z，深度θ，法线N，并且由几个单独的项组成。

首先，空间和时间平滑项(章节4.3)在优化过程中减少了时间振荡，实现了空间平滑的遮挡贴图。

其次，光度一致性项使用双边NCC(章节4.4)和斜面诱导的单应性(章节4.1)来计算参考图像和源图像之间的颜色相似度。

第三，几何一致性项以实行多视图一致深度和正态估计。光度和几何一致性项使用蒙特卡罗视图抽样从公式7中的分布来计算。

该分布鼓励对非遮挡源图像进行采样，并具有信息丰富和非退化的观看几何形状(第4.2节)。

类似于Zheng等人[14]，我们将实后验近似分解为[53]。进一步，为了可追溯性，我们将约束为Kronecker函数族。变分推理的目的是推断出近似后验族的最优成员，以找到最优的Z， θ， n。在这类问题中使用GEM的有效性已经在[14,51]中得到了证明。

作为递归的向前和向后消息

使用无信息先验，变量与一起决定了GEM的m步所使用的视图抽样分布，如Eq.(7)所定义。

M步使用PatchMatch传播和采样(章节4.1)来选择上的最佳深度和正态参数。由于内存的限制，不能同时对所有图像进行几何一致的深度和正常推理，我们将推理分解为两个阶段。在第一阶段，我们根据Eq.(5)估计输入集X中每个图像的初始深度和法线。在第二阶段，我们使用坐标下降优化，通过保持除当前参考图像外的所有图像为常数，根据Eq.(10)推断几何上一致的深度和法线。在这两个阶段中，我们使用逐行和逐列传播将E和M步骤交叉。四个方向上的传播表示一次扫描。在第二阶段，单次扫描定义一个坐标下降步骤，即在四个方向传播后，我们在不同的参考图像之间交替。通常，第一阶段在次扫描后收敛，而第二阶段需要对整个图像集合进行次扫描才能达到稳定状态。我们建议读者参阅补充材料，了解我们算法的步骤概述。

4.7滤波与融合

在描述了深度和正常推断之后，本节提出了一种鲁棒的方法来过滤任何剩余的异常值，例如，在无纹理的天空区域。除了前面描述的好处之外，光度和几何一致性项为我们提供了以可忽略不计的计算成本健壮地检测异常值的措施。早期观测应该在多视角的支持下在光度和几何上都是稳定的。

这些集合决定了参考图像像素的光度和几何支持。

为了满足这两个约束，我们定义一个观测值的有效性为

并过滤所有的观测值。

在我们所有的实验中，我们设置s = 3，，和90◦)。图3和图6显示了过滤深度和法线贴图的例子。

Fig. 3 . 南楼[29]、喷泉[20]改建结果。从左至右:Zheng等人绘制的深度图[14]，然后是仅包含光度项的深度图，包含光度项和几何项的深度图，以及最终过滤的深度图和法线图。

支持集S对所有输入图像的观测值的集合定义一致像素的有向图。在该图中，具有足够支持的像素是节点，有向边缘从参考点指向源图像像素。节点与深度和正态估计相关联，并且与内在和外在校准一起，边缘定义了从参考到源像素的投影变换。

我们的融合通过使用具有最大支持度的节点初始化一个新集群，并递归地收集满足三个约束的连接节点，在该图中找到一致像素的集群。为了实现这个目标，我们将第一个节点投影到3D中，以获得位置p0和法线n0。

对于第一个约束，集群中任何其他节点的图像中第一个节点的投影深度必须与另一个节点的估计深度一致，使得。

其次，两者的法线必须一致，使得。

第三，p0 w.r.t.的重投影误差必须小于。

注意图可以有循环，因此我们只收集节点一次。此外，同一图像中的多个像素可以属于同一簇，并且通过选择，我们可以控制融合点云的分辨率。当没有剩余节点满足这三个约束时，如果集群至少有三个元素，我们将融合集群的元素。融合点的中位数位置为，所有聚类元素的平均值法向。中位数位置用于避免在大深度不连续处对多个相邻像素进行平均时产生伪影。最后，我们从图中移除融合节点，初始化一个具有最大支持度的新簇，直到图为空。然后可以对生成的点云进行着色(例如，[58])以实现可视化目的，并且由于点已经具有法线，我们可以直接应用网格划分算法(例如，泊松重建[59])作为可选步骤。

5 实验

我们设置γ = 0.999，导致平均每1000像素有一个遮挡指示器状态变化。经验上，

本段展示了基于南楼数据集[29]的独立组件的好处，该数据集由128张分辨率为700万像素的非结构化图像组成。我们使用SfM获得稀疏重建[5]。对于每个参考视图，我们使用所有127个图像作为源视图，每次扫描的平均运行时间为50秒。正态估计:图3显示了使用正面平行同形(第一列)和正态估计(第二列至第五列)的深度图，这使得倾斜场景元素(如地面)深度推断的完整性和准确性提高。此外，我们的方法估计的正态线比标准PatchMatch更准确(图5(b))。

由于提出了PatchMatch采样方案，与Zheng等人[14]相比，我们的算法需要相同的扫描次数才能收敛，并且由于假设更多，运行时间仅增加约25%，Zheng等人只估计每像素深度。

图4所示。南楼数据集[29]在参考图像(R)和每两个选定的源图像(1-5)之间的光度和几何先验。

几何先验:图4展示了每种几何先验的好处。

我们展示了参考视图针对一个代表性源图像的似然函数。对于所有先验，我们在同一源图像中观察到不同的可能性，强调逐像素视图选择的好处。先验算法正确地降低了源图像对小三角角、低分辨率或遮挡视图的影响。选择平滑:图5(a)显示，我们的时间平滑项有效地减轻了纯空间平滑项的振荡。虽然Zheng等人[14]的公式中的遮挡变量会根据传播方向而振荡，但在我们的方法中，它们会快速收敛到稳定状态，从而导致更稳定的视图采样。几何一致性:图3展示了在合并几何一致性项时改进的完整性，并且它还允许可靠地检测几乎没有异常值的过滤结果的异常值。为了衡量我们的贡献的定量影响，我们通过从公式中省略单个组件或组件组合来获得基准结果(表1)。我们观察到每个组件对于实现我们方法的整体准确性和完整性都很重要。为了进一步评估和印象我们的方法的好处，我们强烈建议读者查看补充材料。

图5所示。(a)空间平滑项[14]与我们提出的遮挡变量Z的时空平滑项的比较。算法从左开始进行第一次扫描，然后向右连续扫描。(b)使用标准PatchMatch传播估计的深度和法线(参见fig . 1)。(我们的)。(c)参考图像与过滤深度和法线为群众来源的图像

基准。Middlebury基准[23]由640×480在不同设置下捕获的Dino和Temple模型组成(full 1, Ring, Sparse)。对于每个参考图像，我们使用所有视图作为源图像，对于具有≈300张图像的full 1模型，每个视图的运行时间≈40秒。我们在两种模型上都达到了极好的准确性和完整性1。具体来说，使用标准设置，我们在Dino Full(并列)和Dino Sparse(稀疏)中排名第一，而在Temple中获得竞争分数(Full 1排名第四，Ring排名第八)。请注意，我们的方法在高分辨率下表现最好，因为正常估计需要大的补丁大小。此外，我们使用基本泊松网格[59]，强调了我们的方法产生的高精度和无异常值的深度/正态估计。Strecha基准[20]由具有ground-truth的高分辨率图像组成，我们遵循Hu和Mordohai[60]的评价方案。图3显示了Fountain数据集的输出，表1列出了量化准确性和完整性的结果。为了保持与Zheng等人[14]的可比性，我们根据真实情况评估了我们的原始深度图。尽管[28,60,61]的结果是基于通过深度图融合获得的3D表面投影来评估的，但我们产生的结果比Zheng等人的结果更加准确和完整，并且在4个类别中的3个类别中优于其他方法。