Multi-view Stereo and Structure Priors学习笔记

阅读Multi-View Stereo: A Tutorial第四章做下笔记（翻译向）

 

对于充斥着无纹理和高度非 Lambertian 的对象，会 MVS 算法失败。如室内环境的白色墙壁，但室内环境表现出很强的结构规则性，如平面性和正交性，可以利用这些规则来提高重建质量。MVS 研究的最新趋势是将核心 MVS 原理与某种形式的结构先验混合。

此类算法基于2D MRF公式。（用于深度图估计的MRF公式）我还不懂。

下边研究了MVS 算法，这些算法更改了标签的定义以强制执行高级结构先验，例如平面性，同时仍然保持子模块化，以便能够轻松应用强大的图形切割技术

4.1 Departure from Depthmap to Planemap

分段平面性的实施，为了使 graph-cuts 算法适用，成本函数必须是子模的，便要有具有相同标签的不同像素。但是，任意方向的平面表面是由深度值缓慢变化但不同的像素实现的。因此，一种想法是将标签的定义从深度值更改为不同的值，以便可以通过将相同的标签分配给不同的像素来实现有利的配置（例如，分段平面结构）。

Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski. Manhattan-world stereo. In IEEE Conference on Computer Vision and Pattern Recognition, 2009

Furukawa、Curless、Seitz 和 Szeliski 提出了曼哈顿世界立体算法，其中标签表示从标准 MVS 重建中提取的平面，首先计算三个主要正交方向，然后仅提取沿主要方向的平面来定义标注。Sinha、Steedly 和 Szeliski 扩展了该框架，并允许从重建的 3D 点和 3D 线段中提取任意方向的平面，在这两种方法中，MRF 公式都用于估计每个像素的平面 ID，这称为平面图。

下边介绍了曼哈顿世界立体算法的 MRF 公式

MRF Formulation in Manhattan-world Stereo

该算法的输入是由 MVS 算法重建的一组 3D 点 {Pi}，其中每个点都与一组用于重建该点的可见图像相关联。假设提取了一组 3D 假设模型平面。给定参考图像，问题是将分段平面深度图重建为假设平面的组合，换句话说，通过将其中一个平面分配给参考图像中的每个像素来重建平面图。

Data Term（我没看懂）

Smoothness term（看不懂）

Reconstruction Results

图 4.6 显示了曼哈顿世界立体算法在室内和室外建筑场景上的重建结果，还有相当数量的曲面，打破了曼哈顿世界的假设，但他们的算法尽最大努力通过分段平面来近似其形状。

图4.7将曼哈顿世界立体算法与最先进的 MVS 进行比较，即 PMVS 。

Sudipta Sinha, Drew Steedly, and Richard Szeliski. Piecewise planar stereo for image-based rendering. In IEEE International Conference on Computer Vision, 2009.

Sinha、Steedly 和 Szeliski针对各种户外建筑场景的分段平面立体算法的重建结果如图 4.8 所示。请注意，该算法能够正确捕获倾斜表面，这在 Manhattan-world Stereo 算法中是不可能的

4.2 Departure from Planes to Geometric Primitives

L. Zebedin, J. Bauer, K. Karner, and H. Bischof. Fusion of featureand area-based information for urban buildings modeling from aerial imagery. In IEEE International Conference on Computer Vision, pages IV: 873–886, 2008.

Zebedin、Bauer、Karner和Bischof开发了一个系统，该系统可以从航空照片中生成城市的数字高程模型（见图4.9），该系统超越了分段平面，可以处理曲面，特别是除了任意方向的平面外，还可以处理旋转面。

他们估计城市的高程模型或高度场表示，该模型在自上而下的视图中表示为 2D MRF 问题。他们的系统针对城市的航拍照片进行了优化和测试，并产生了非常令人印象深刻的 3D 建筑模型（见图 4.10）。该公式与上一节中的分段平面立体算法非常相似，其中 MRF 用于分配基元 ID，但有两个关键区别。第一个区别是，该域由一个更大的矩形单元网格（图 4.9 左侧）离散化，该网格基于多视图线匹配算法重建的 3D 线段 [32]。为每个单元格分配一个基元 ID，该 ID 具有额外的数据感知正则化效果。第二个区别是将旋转表面作为几何基元处理，这可能对任意场景无效，但经常出现在室外建筑中，例如顶部的圆顶。图 4.10 显示了更多的重建结果。

4.3 Image Classification for Structure Priors

通过旋转平面或表面的结构先验在建筑场景中是有效的，但会给非建筑结构（如灌木、树木和草）带来问题，这些结构打破了这些假设，但经常出现在城市环境中。

David Gallup, Jan-Michael Frahm, and Marc Pollefeys. Piecewise planar and non-planar stereo for urban scene reconstruction. In IEEE Conference on Computer Vision and Pattern Recognition, 2010

Gallup、Frahm 和 Pollefeys 采用图像分类技术将图像标记为平面和非平面区域，其中结构先验（即分段平面）仅对具有平面分类的区域强制执行。他们的算法还有其他几个新因素，例如提取原始候选者（在本例中为平面）的更复杂的方法，以及在将结构 ID 标记到多个图像时强制执行多视图一致性的框架。然而，我们在这里重点介绍他们对图像分类技术的使用和非平面结构的处理（见图 4.11）。

图 4.11 显示了该算法对具有建筑结构和植被混合的典型住宅区的一些中间结果。他们的算法成功地将灌木和树木归类为非平面结构并保留其形状。

他们根据颜色和纹理特征训练分类器，以区分平面和非平面表面，其中简单的 knearest neighbor 分类器和 SVM 分类器都经过测试并产生了类似的结果。

他们将 5 张图像中的大约 5000 个片段手工标记为平面或非平面，然后训练一个分类器。分类器输出像元为平面类别的概率，该概率在 MRF 公式中用于修改数据项。

在他们的 MRF 公式中，标签集是平面标签、非平面标签和丢弃标签的并集。丢弃标签表示缺乏置信度，对应于重建漏洞。平面标签和非平面标签是使用标准 MVS 算法生成的深度图（即原始深度图）获得的。

图 4.12 将该方法与标准 MVS 算法进行了比较，后者清楚地显示了结构在利用场景平面性之前的优势，同时为非平面保持适当的结构。图 4.13 以纹理映射深度图和高亮平面的形式显示了更多的重建示例，同样适用于建筑物和植被混合的典型城市场景。