三维建模

讨论三维建模，就不能离开讨论硬件，数据和场景。因为目前为止，没有什么算法是真正实用到通吃的。

另外三维建模的应用环境也不一定相同，有的需要好的视觉效果，有的需要实时，有的需要低成本，有的需要高精度的几何重建。有的需要完整度，有的只需要一个视角。有的需要点云，有的需要网格，有的需要封闭曲面。

全部展开我也可以讲，不过会很复杂。

简单点说：整体流程：硬件 -> 数据 -> 稀疏/点云/相机参数重建 -> 网格化 -> 纹理化。

1.硬件

主要是考虑应用和成本，不要高射炮打蚊子，也别想癞蛤蟆吃天鹅肉。具体来说，包括静态场景 （预矫正的相机组+光源），高端扫描仪（拍照式投影扫描，高精度激光扫描），低端三维扫描仪（低端的LiDar, kinect等结构光和ToF的设备），双目摄像头，单目摄像头。

2. 数据

颜色（单反和屌丝相机，视频还是静态图片），深度图（来自于高低端扫描仪），点云（LiDar），IMU（如果你在用手机等带传感器等东西）。

3. 融合算法，三维化算法：

其中曹力科讲的是关于实时低成本重建的一系列文章，分析的非常好，BundleFusion的作者们也和我有长期的合作，给他点个赞。这一类假设已经有深度图了，所以只需要做融合。

weiwei sun和徐普说的是传统三维重建的在视觉部分的数学机理，我粗略看了一下，写的很好很详细。这类东西，往往只有颜色数据，所以你需要SFM额外的分析出三维数据。怎么样？听听就很难，所以现在最牛逼的商用软件(photoscan)+你的单反，也不一定就能保证你重建成功。唯一可商用的版本，就是高端的小众应用，比如搭一个摄影棚，给公司和电影玩家用。。。

综合来看，有图片的SFM，和利用视频连续性的SLAM的和其他sensor的fusion，原理都差不多。不过相信大家都学过物理，你实验一万次做平均，也不能够降低系统误差一分，所以bundle adjustment不能够使重建小于硬件误差。

当然视野放广一点，三维建模也不只是这么点东西，有一些大的场景是对精度要求不高，但是你需要能hold住。有一些场景叫inverse engineering，需要分析很多设备的变形损耗，需要高精度的scanner，对融合算法要求比较低。刘锐说的，是最近比较“新潮”的利用AI来重建的方法，我和我所在的实验室也在做，不过个人他举的应用在我来看可能都不是最终的应用。AI来重建general的shape，是非常困难的，除了最近新出的一些套用传统multiview-stereo的一些方法，有所前途。AI重建的最有机会的应用，在我看来是针对”fix template"的应用，比如人脸，人身等。

当然，三维重建也不只是包括几何的重建，还包括3D photography, 光场，基于图片的渲染，这些未来都有可能商用化 （最近比较火的是AI光场，我对于它generalize to novel view的能力表示质疑）。

最后，所有人都忽略了一个很重要的领域，就是网格重建和纹理重建。网格现有的一些TSDF和柏松重建的方式各自都有很多缺陷，纹理重建主要是为视觉服务，也有很多难点。

综上，三维建模在部分场景下可商用化，还没有达到通吃的程度。你问我有什么实用算法，我可以负责任的说，暂时还没有一个算法能达到你理解的“实用”度。我觉得最本质的，还是不断优化硬件的精度和成本。传统算法都有一定的limitation，但是在结合正确的场景和设备下是能够产生实用价值的（但普通人不太能搞）。搞视觉体验，3D photography有一定前途。AI的东西，适用于特定物体的重建，对于普适物体的重建，我是不信的。