三维重建之初识

认识一下三维重建

今年元宇宙的概念被炒了起来，我们在关注相关的三维重建技术，把最近学到的整理一下：

三维重建的分类

三维重建我简单理解就是把现实世界的三维物体重建并可视化，属于CV领域的侧重点。下面是分类：

参考《基于光学图像的三维重建理论与技术》孙玉娟

（明暗恢复、光度立体书中归类到主动光学，我看原理都是用摄像机获取图像，我个人归类到被动光学了，RGBD有深度获取和彩色图获取是主动和被动结合）

目前来看，应用范围比较广的是光学三维重建。接触型三维重建是早期兴起的技术，主要是手工借用仪器测量简单的物体，精度高，效率低；透射型三维重建和非光学三维重建多数应用于专业的领域和特殊的场景。

三维重建的应用

三维重建技术一直在发展，从20世纪60代到现应用于很多领域，列举目前备受关注的几个例子：

1. AR
   三维重建应用于AR在算力上来说属于轻量级的应用，应该容易快速应于手机、pad、AR/VR眼镜中。早期应用拍摄环境，识别平面，放置模型，例如抖音里的特效“我和我的厚米”，去年浙大和商汤提出了一个单目三维重建系统 Mobile3DRecon，在手机端实现逼真AR效果和交互，可以重建一些物体简单的网格。论文连接：Mobile3DRecon: Real-time Monocular 3D Reconstruction on a Mobile Phone
2. 文物重建、3D试衣
   文物重建属于静态的物体重建，而且是稠密重建，要求模型精度高，应用于展览馆参观，下面是个哔哩哔哩里的展示：故宫文物虚拟仿真展示，好的展示效果还需要对模型做更逼真的渲染。3D试衣也是需要对衣服拍照建模，最近刷到一个抖音博主‘鲤霄阳’，视频里的衣服的三维模型很炫酷。
3. 影视创作
   一般拍摄影视作品也是需要高精度的仪器，在专业的影棚里，有绿幕背景，灯关进行图像采集。还有漫威电影等里面的特效有的需要对人脸进行精细建模，才能给观众带来逼真的观影感受。这个需要大量的数据和计算。
4. 大型场景三维重建
   大型场景的重建一般会采用激光雷达对建筑进行扫描，直接生产点云，可以用于城市规划展示。目前好多科技公司提供实景重建的方案，比如阿里的临云镜产品等等。

端到端的三维重建的技术

三维重建涉及到非常多的图像处理技术，一个端到端的三维重建系统，需要了解采集端设备、以及连接到处理器的方式，二维数据表述，三维数据表述，重建算法等等。正在学习中，之后边学习边更新相机标定、图像分割、图像修复、点云处理、曲面重建、纹理贴图。。。。任重而道远。

有问题多多指正。