MVS: A Tutorial-（1）简介

​

1.介绍

• 基于图像的3D重建的目标可以描述为：

given a set of photographs of an object or a scene, estimate the most likely 3D shape that explains those photographs, under the assumptions of known materials, viewpoints, and lighting conditions

该定义强调了任务的难度：materials, viewpoints, and lighting conditions。如果不知道这些，则问题通常是不适定的，因为多种组合可以产生完全相同的照片。

• 流程：

• Collect images, 收集图像

• Compute camera parameters for each image, 每个图像计算相机参数

• Reconstruct the 3D geometry of the scene from the set of images and
corresponding camera parameters. 从一组图像和相应的相机参数重建场景的 3D 几何。

• Optionally reconstruct the materials of the scene。 可选择重建场景的材质（纹理贴图巴拉巴拉）

​​

1.1.图像收集

• 本教程专注于 SfM 算法，因为绝大多数 MVS 算法旨在处理无序图像集，并依赖 SfM 来计算相机参数。
• 相机参数

The term “camera parameters” refers to a set of values describing a camera configuration, that is, camera pose information consisting of location and orientation, and camera intrinsic properties such as focal length and pixel sensor size.

相机位姿信息包括位置和方向，以及相机固有属性，例如焦距和像素传感器尺寸。

1.2.相机投影模型

1.常用针孔模型：

2.参数分析

K ：内参矩阵3x4（5自由度）	fx,fy : 垂直和竖直方向的焦距
R ：旋转矩阵（3自由度）	cx,cy : 像平面的中心坐标
T : 平移矩阵（3自由度）	s : 相机倾斜角度相关

总共11个自由度。特别地，假定像素没有偏斜 （s = 0），并且是正方形 （fx = fy）。且如果图像没有裁剪过，像平面的中心坐标在图像中心。此时模型只有7个自由度（R(3个),T(3个),f）。

3.考虑径向畸变

如果附加的透镜是低质量的，或广角的，纯针孔模型是不够的，经常扩展径向畸变模型。

Radial distortion can typically be removed from the photographs before they enter the MVS pipeline.

To avoid these issues MVS pipelines can support radial distortion and more complicated camera models directly, at the expense of extra complexity.

1.3. Structure from Motion

• 将讨论 SfM 的一些关键以及它们与 MVS 算法的关系。

SfM algorithms take as input a set of images and produce two things: the camera parameters of every image, and a set of 3D points visible in the images which are often encoded as tracks.

A track is defined as the 3D coordinates of a reconstructed 3D point and the list of corresponding 2D coordinates in a subset of the input images.
.
SfM 算法将一组图像作为输入并产生两件事：每张图像的相机参数，以及图像中可见的一组 3D 点，这些点通常被编码为轨迹。

轨迹定义为重建的 3D 点的 3D 坐标和输入图像子集中对应的 2D 坐标的列表。

• sfm流程：
  

1.4. Bundle Adjustment 光束法平差

Bundle Adjustment简述

• $P_i$ : 相机 $i$​​​​​​​ 的投影矩阵
• $M^j$ : $trac{k}_j$ 的3D坐标
• $P_i(M_j)$ : $M_j$ 经过 $P_i$ 投影后的2D坐标
• $m_i^j$ : $trac{k}_j$ 在相机 $i$ 的2D图像坐标
• $V(j)$ : 可视点 $M_j$ 的相机下标

常用均方根误差估计精度。
BA前的Typical RMSE 值在几个像素的数量级，而BA后的值通常是亚像素。
​

MVS algorithms are very sensitive to the accuracy of the estimated camera models. The reason is that, for efficiency purposes, they use the epipolar geometry defined by the camera models to restrict the 2D matching problem into a 1D matching problem (See Section 1.5 for more details). If the reprojection error is large, a pixel might never be compared against its real match, significantly degrading the MVS performance
.
MVS 算法对估计的相机模型的准确性非常敏感。 原因是，为了提高效率，他们使用相机模型定义的对极几何将 2D 匹配问题限制为 1D 匹配问题（有关详细信息，请参阅第 1.5 节）。 如果重投影误差很大，则可能永远无法将像素与其真实匹配进行比较，从而显着降低 MVS 性能。

Since MVS is so sensitive to reprojection errors, bundle adjustment is often a requirement for MVS, with the goal of sub-pixel reprojection errors. Note that, because reprojection error is measured in pixels, one can downsample the input images and rescale the camera parameters until the reprojection error drops below a certain threshold. This approach will work as long as the downsampled images still contain enough texture and details for MVS to work [72].
.
由于 MVS 对重投影误差非常敏感，通常 MVS 需要进行BA，其目标是亚像素重投影误差。 请注意，由于重投影误差是以像素为单位测量的，因此可以对输入图像进行下采样并重新缩放相机参数，直到重投影误差降至某个阈值以下。 只要下采样的图像仍然包含足够的纹理和细节供 MVS 工作 [72]，这种方法就可以工作。

1.5 Multi-View Stereo

• 双目立体 多视图立体 光流的一些区别：

多视图立体不是从两个不同的视点捕获两张照片，而是在两者之间捕获更多的视点以增加鲁棒性，例如 图像噪声或表面纹理[184, 147]。 最初是一种改善双视图立体的方法，如今已经演变成一种不同类型的问题。
.
与 MVS 的主要区别在于，光流通常是一个两图像问题（类似于双视图立体），相机没有校准，它的主要应用是图像插值而不是 3D 重建。
.
在 MVS 的情况下，相机参数是已知的，求解场景的 3D 几何图形与求解输入图像之间的对应问题完全相同。将 3D
点投影到一组可见相机中，在每个图像上的投影坐标之间建立了唯一的对应关系。

给定图像中的一个像素，在其他图像中找到对应的像素需要两个要素:

• 在其他图像中生成可能的候选像素的有效方法。
• 一种衡量给定候选人与正确匹配的可能性的方法。

简单介绍了对极几何（已知），也就是立体匹配中将2维搜索变成1维搜索的约束。