三维重建 概论

三维重建的方式

1. 通俗来讲，三维重建就是将2D的数据生成3D的模型。

首先将2D的物体，通过各种方法，算法形成几何网格对象，同时用深度信息，处理远近，遮罩等关系，形成最终的3D模型。

1. 在计算机视觉中，三维重建是指根据单视图或者多视图图像重建原始三维信息的过程。

• 单视图缺少深度、多视角信息，基于单视图的三维重建效果较一般。

• 基于多视角图像的三维重建，充分利用了多视角拍摄信息，其先对摄像机进行标定并计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像重建出三维信息。

目前几个领域

基于点云数据

用点云数据，生成具有LOD层次的三维模型是一种三维重建的目前较为主流的方法。大量用在地理信息，智慧城市，数字孪生等大场景下。

主要的流程是

1. 3D网格的生成

2. 网格生成和色彩的润色

点云总体的关注点在：

1. 大数据量的优化处理

2. 精度和最终质量效果问题

下图演示更多细节内容

基于摄影的各种方式：

1. 主要通过连续的图像帧获取常规2D图像

2. 获取关键帧的深度图信息。融合形成3D模型（SFS，MVS）

关注的点：

1. 单个图片可能无法较好的生成3D对象。但通过AI增强，在逐步改善。

2. 多个视角的多个图片可能较好的解决这个问题。

基于体数据

Voxel，三维的点像素数据。

医疗行业，游戏行业体数据。

体素关注点：

1. 也是数据量大的问题。显存要求大。尤其是医疗领域GPU显存可能并不是很强的情况下。

这方面联影的产品已经支持。

基于深度学习领域

一般使用一张或者多张静态的2D图片，尝试使用深度学习领域的各种算法获得3D模型

  神经辐射场（NeRF，Neural Radiance Field）

  是另一种隐式三维重建技术，使用一个神经网络来预测从一个视点看到的场景中每个像素的颜色和深度值。这个神经网络使用辐射场以学习从一系列观察视角拍摄的图像中重建场景的表面形状和纹理。基于神经网络输出的编码后的信息，采用体渲染输出指定视角下的二维图片。

  相比于另外两种隐式三维重建方法，NeRF只需要少量的二维图像和对应的深度值用于训练，并且在高频特征上具有更好的表现。

三维重建的几种重点技术问题：

1. 数据处理的并发能力（比如点云，海量数据），对应的方式有数据优化预处理，并行计算处理等方式。

2. 需要确保连续帧图像特征匹配度，可以使用SIFT等算法优化保证。

3. 深度学习方向，大模型的引入，大量新的AI触发的三维重建涌现，但效果参次不齐。

三维重建所有技术点

一图总览

各种方法的优缺点比较

用的比较多的是 立体视觉法（Multi-View Stereo，MVS)，基于视差原理通过一系列图像获得3D对象。

目前较多的还有点云，体素，深度学习的。

三维重建的软件

中国国内好像有个CVSuite，但是搜索不到。。

Name	Type	OS	Price	Target Industries
ReCap Pro	Aerial, Close-Range	Windows	$50/month, $380/year	Architecture, Engineering, Construction
Metashape	Aerial, Close-Range	Windows, MacOS, Linux	Standard $179; Pro $3,499 perpetual licenses	Construction, Agriculture, Forestry, Oil & Gas, Mining, 3D Model Generation, Surveying
RealityCapture	Aerial, Close-Range	Windows	$10 for 3500 PPI credits, or $3,750 for unlimited access	Architecture, Surveying, Gaming, Cultural Heritage, Virtual Reality, 3D Printing
3DF Zephyr	Aerial, Close-Range	Windows	From $300/month, free limited-feature version	Surveying, Mining, Construction, Gaming, Engineering, Agriculture, Architecture, Manufacturing
iTwin Capture Modeler	Aerial, Close-Range	Windows	From $3,900 / year	Bridges & Transport, Water & Utilities, Construction, Surveying, Mining
Correlator3D	Aerial	Windows	From $300/month	Surveying, Mining, Construction, Agriculture, Forestry, Emergency Response
DroneDeploy	Aerial	Windows, macOS, Android, iOS	From $329/month	Construction, Agriculture, Roofing, Oil & Gas, Mining, Property Management, Utilities
Imagine Photogrammetry	Aerial	Windows	On request	Surveying, Mapping, Defense
Photomodeler	Aerial, Close-Range	Windows	$68/month Standard, $118/month Premium	Marine, Forensics, Manufacturing, Surveying
WebODM	Aerial	Windows, macOS	Free version or $57	Surveying, Agriculture, Mining, Property Management, Utilities
Pix4Dmapper	Aerial	Windows, MacOS, Android, iOS	From $260/month	Surveying, Architecture, Agriculture, Energy, Forensics
Socet GXP	Aerial	Windows	On request	Defense, Disaster Relief
Inpho	Aerial, Close-Range	Windows	On request	Mapping, Forestry, Agriculture, Mining, Utility, Urban Development, Defense

三维重建的评审指南

评测相关方法：

https://www.cvlibs.net/datasets/kitti/eval_scene_flow.php?benchmark=stereo

https://vision.middlebury.edu/stereo/eval3/

https://www.eth3d.net/low_res_two_view

参考文档：

1. http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170502?viewType=HTML

2. http://www.cjig.cn/jig/article/html/220376

3. https://all3dp.com/1/best-photogrammetry-software/#google_vignette

ORBTSDF-SCNet：一种动态场景在线三维重建方法.pdf

基于视觉的三维重建关键技术研究综述.pdf

基于倾斜摄影的城市建筑三维重建方法研究.pdf