基于图像的三维重建

基于图像的三维重建

作者：竹石

基于图像的三维模型重建的整体流程：

三维重建（3D Reconstruction）：从一堆二维图像中恢复物体的三维结构，并进行渲染，最终在计算机中进行客观世界的虚拟现实的表达。

->输入无序图像 Unstructured Images

->图像对齐(Assoc.)，筛选图像，构建场景图(也称为连接图)。

->稀疏重建(Structure from Motion,SFM)，生成稀疏的3D点云结构，该步骤的贡献是建立统一的坐标系，确定

了重建物体的尺寸，提供可靠的2D-3D多对一的匹配点对。

->稠密重建(Multiple View Stereo,MVS)，生成稠密的3D点云结构，该步骤的贡献生成稠密的点云。

->表面重建(Mesh，Model Fitting)，稠密点云转化为网格(mesh)。

->纹理重建(Texture Mapping) ，纹理贴图，即对网格进行纹理坐标映射，进行贴纹理。

->可视化渲染

需要掌握的理论基础

最简三维重建demo

数据的获取

我们要知道数据是怎么获取的，即第一个要学的知识点就是相机模型。
相机模型：小孔成像模型+畸变模型

2D-2D

已知图像，如何求三维点呢？
我们能获取的是图像与图像之间特征点的2D-2D匹配关系，因此第二个知识点就是特征点的匹配与描述。
有了2D-2D的匹配点对，如何获取图像之间的相对位姿？此时知识点3 对极几何就是解决2张图像相对位姿的法宝。

三角量测

由对极几何确定了2张图像的相对位姿，那么世界坐标系也就确定下来了(细品)。有了世界坐标系，这两张图像在世界坐标系上的位置也确定了，也就是说此时这两张图片中的像素不在是2D的，而是3D的，是一根根光线(细品)。
两根射线相交，其交点就是我们要求的像素点的深度。
如果把光线看做方程，由同一个点发射的光线组成方程组，所谓的三角量测，就是解方程，求解光线的交点(深度)。

PnP

有了世界坐标系，那么新加入的图像，要对齐到世界坐标系中。
我们已知的是3D点-2D点对，PnP刚好派上用场。

新加入的图像对齐在世界坐标系之后，再重复三角量测，重建更多的点

捆绑调整

由于各种不可控的误差，需要用到BA捆绑调整，修正一下参数。正准确的说个参数之前进行权衡，使重加的整体得到最优。

下课，，，