三维重建概述

三维重建（3D Reconstruction）

  用相机拍摄真实世界的物体、场景，并通过计算机技术进行处理得到物体的三维模型。主要包含一下技术：多视图立体几何、深度图估计、点云处理、网格重建与优化、纹理贴图、马尔可夫随机场、图割等等。三维重建是增强现实（AR）、混合现实（MR）、机器人导航、自动驾驶等领域的核心技术之一。
  

传统方法

基于RGB-D的重建

  深度相机（RGBD Camera）：可以直接获取被测对象的三维信息（深度图）的相机。深度相机主要分为结构光和ToF：目前比较主流的是ToF相机。

基于MVS的重建

  MVS：从一系列RGB图像中重建3D模型（刚体重建），包含图像采集、特征提取与匹配、位姿计算、稀疏点云重建、稠密点云重建、网格重建，纹理贴图。

经典开源框架：

  位姿计算：COLMAP、MVE、OpenMVG、Slam等等
  MVS：COLMAP、MVE、PMVS、SMVS、OpenMVS等等
目前较好的方案是 ：COLMAP（计算位姿）+OpenMVS（三维重建）
经典论文：综述： Multi-View Stereo：A Tutorial
     MVS开源框架测评：Thanks and Temples：Benchmarking Large-Scale Scene Reconstruction

COLMAP

COLMAP-SFM:

基于深度学习的方法

单帧图像重建Mesh

人脸重建

基于3DMM重建
论文：

1. Nonlinear 3D Face Morphable
   线性模型，可形变模型，任何一张人脸都可以根据一下公式来重建,基于统计学原理，任何一个人脸都可以由多个标准人脸的特征（形状、纹理、表情）线性组合得到。
2. On Learning 3D Face Morphable Model from In-the-wild Images
   非线性模型，学习了一个非线性的3DMM模型，比传统的线性模型具有更大的表示能力；采用了弱监督学习的方式，利用大量没有三维扫描的二维图像，共同学习模型和模型拟合的方法。
3. 2DASL
   自监督模型，克服数据不足的问题。
4. PRNet
   端到端重建的方式解决人脸对齐与三维人脸问题，使其一起完成，且不受到低维空间的限制，运行速度快。

物体、人体重建

1. IF-Nets
2. PIFu

多帧图像重建深度图

1.MVSNet
网络结构输入是任意位姿的多张图像，且多张图片之间的关系需要被整体考虑

2. MVS-JDACS-MS(Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation)
**特点：**在无监督训练框架中引入协同分割和数据增强策略，克服不同视角之间天然存在的关照差异性等干扰。

3. PatchMatchNet
**网络结构：**一种基于传统的PatchMatch算法的高效multi-view stereo框架

常用数据集

Kitti 数据集
NYU数据集

ScanNet

DTU