MVS_Tutorial-1

摘要

MVS算法可以仅仅通过照片来重建出高细节的3D模型。MVS是给定一组图像，估计最有可能的3D形状，建立在已知物体的材料、视点以及光照条件的前提下。
如果前提条件未知的话，就会出现最优解不唯一的情况，因为不同种的光照等组合会出现相同的结果。

ill-posed：指最优解不唯一的情况
适定问题（Well-posed problem）是指满足下列三个要求的问题:
1)解是存在的;
2)解是惟一的;
3)解能根据初始条件连续变化，不会发生跳变，即解必须稳定。

MVS的输入：一组图像和它们对应的相机参数。MVS很大一部分的成功在于SfM算法，用来计算相机参数。

MVS的pipeline：

大部分MVS算法都是工作在非有序的图片集上的，应用SfM算法计算相机参数。
相机参数指的是一系列描述相机设定的值，包含相机的位置和朝向，内参数也包含焦距和传感器的尺寸。

相机参数标定与投影模型

MVS需要对每一张输入图像拥有一个对应的相机模型来充分描述如何将3D点投影到2D像素位置上。MVS最常用的相机模型是针孔相机模型，由一个34的投影相机矩阵来表示。
任何一个34的投射矩阵P都可以分解成33上三角矩阵K和一个34姿态矩阵[R|T]相乘。

K是内参矩阵

• $f_x,f_y$是垂直和水平的焦距长度
• $c_x,c_y$是主点坐标
• s扭转畸变
• R旋转参数
• T平移参数

一般假设传感器是正方形所以$f_x=f_y$，设置畸变为0，图像没被裁剪时主点在中心，因此普通针孔相机的相机参数由焦距f,旋转矩阵R和平移矩阵T中7个参数组成;

对于附加镜头成像效果不好或者广角相机（如图1.4左所示）,单纯的针孔相机模型不足以表示相机模型，通常要加上一个径向畸变.尤其是对高分辨率图像径向畸变是很重要的，因为微小的偏离将会涉及到边界的多个像素值.
高分辨率图像的径向畸变也很重要。所以需要在进入MVS pipeline之前消除。

SfM

SfM的输入是一系列图片，输出两种：每张图片的相机参数以及一系列图片中可见的3D点，通常被编码成tracks，tracks通常是重建3D点的坐标让其在对应图像上的2D坐标。
当下的SfM算法的流程基本都是这样的。

计算每张图像的2D特征点
图像间2D特征点匹配
从匹配关系构建2D tracks
从2D tracks 解sfm 模型
bundle adjustment优化sfm模型

SfM：目的是在未知相机位姿的情况下恢复稀疏的三维结构
MVS:已知相机位姿的前提下估计稠密的三维结构，如果相机位置未知就会先使用SfM得到相机的位姿