三维重建算法综述|传统+深度学习

作者：CJB
Date：2020-2-21
来源：基于深度学习的三维重建算法综述

00 前言
01 基于传统多视图几何的三维重建算法
1.1 主动式
（1）结构光
（2）TOF 激光飞行时间法
（3）三角测距法
1.2 被动式
（1）单目视觉
（2）双目/多目视觉
1.3 基于消费级RGB-D相机
02 基于深度学习的三维重建算法
2.1 在传统三维重建算法中引入深度学习方法进行改进
2.2 深度学习重建算法和传统三维重建算法进行融合，优势互补
2.3 模仿动物视觉，直接利用深度学习算法进行三维重建
（1）基于体素
（2）基于点云
（3）基于网格
03 总结
04 参考文献

00 前言

目前，三维重建技术已在游戏、电影、测绘、定位、导航、自动驾驶、VR/AR、工业制造以及消费品领域等方面得到了广泛的应用。方法同样也层出不穷，我们将这些方法依据原理分为两类：

• 基于传统多视图几何的三维重建算法
• 基于深度学习的三维重建算法

总地来说，尽管目前传统的三维重建算法依旧占据研究的主要部分，但是越来越多的研究者开始关注于用CNN探索三维重建，或者说，两者之间的交叉与融合。

---

有人问，在三维重建中引入深度学习方法有什么意义？我将意义概括为三部分：

• 为传统重建算法性能优化提供新的思路

  一项名为 Code SLAM1 的工作，这项研究获得了CVPR 2018年的best paper提名奖，研究利用神经网络框架，并结合图像几何信息实现了单目相机的稠密SLAM。主要贡献在于使用了深度学习方法从单张图像中用神经网络提取出若干个基函数来表示场景的深度，这些基函数表示可以极大简化传统几何方法中的优化问题。显然，深度学习方法的引入可以给传统方法的性能提升提供新的思路，而以前，这部分工作大多由机器学习方法来做。

• 将深度学习重建算法和传统三维重建算法进行融合，优势互补

  业界对算法的鲁棒性要求比较高，因此多传感器、乃至多种算法的融合以提升算法鲁棒性是个必然趋势，而深度学习在一些场景中具有天然优势，比如不可见部分的建模，传统算法就很难凭借“经验”来估计物体的深度。

• 模仿动物视觉，直接利用深度学习算法进行三维重建

  动物跟人类直接基于大脑而非严格的几何计算来进行物体的三维重建，那么直接基于深度学习的方法在原理上也是可行的。特别需要注意的是，在一些研究中，有些方法直接基于单张图像（非单目，单目指利用单个摄像头）进行三维重建。理论上讲，单张图像已经丢失了物体的三维信息，因此在原理上即不能恢复深度信息，但是人类又能凭借经验大致估计物体的距离，因而也具有一定的“合理性”。

---

两者形成了各自的理论和体系，但未来三维重建领域研究一定是传统优化方法与深度学习的结合。目前，这方面研究仍处于起步阶段，还有许多问题亟待解决。下面的综述主要侧重于深度学习方法，但也仅列出重要文献，更详细的综述将会在公众后续的文章中介绍。

01 基于传统多视图几何的三维重建算法

传统的三维重建算法按传感器是否主动向物体照射光源可以分为 主动式 和 被动式 两种方法。这些年，也有不少研究直接基于消费级的 RGB-D 相机进行三维重建，如基于微软的 Kinect V1 产品，同样取得了不错的效果。基于传统多视图几何的三维