三维场景重建整合笔记

近年来，随着智能手机、头盔立体显示等技术的发展和 普及，虚拟现实技术取得了飞速发展。在 VR 技术中场景建 模是最关键的一步。3D 游戏通常采用专业三维建模软件， 如 Autodesk Maya、Autodesk 3ds Max 等进行建模，此方法 耗时耗力，所建模型为虚拟场景。对真实场景一般需要借助 专业三维扫描设备，此方法测量精度高，但设备价格昂贵， 不利于大范围推广。为此本文将多视图三维重建技术应用于 VR，实现真实场景的建模。该方法直接从多个视角的 2D 图 像提取场景的三维信息，数据采集简单快捷，成本低廉，但 由于遮挡、光照变化、特征弱等各种因素，建模过程会出现 噪声、空洞等各种瑕疵。 目前基于多视角图像的三维重建算法主要有三类： ①基于体像素的三维重建算法；②基于深度图的三维重建算法；③基于特征点生长的三维重建算法。基于特征点生长的三维重建技术，通过对现实场景进项图像采集，然后对多幅图像进行特征点检测、匹配，生成稀疏种子点云， 并在此基础上增加生长点有条件的初值矫正优化等措施，提高重建的精确性，降低噪声、空洞等引起的重建错误。

 

三维场景渲染与重建是利用场景的图形或图像等信息渲染出特定观测视点的场景图像和重建出三维场景的结构模型，它是计算机视觉中的一个重要的研究课题，开展该方面的研宄对于模式识别、虚拟现实、探险救援、军事侦察等都具有非常重要的意义。经典的三维场景渲染与重建方法按照基本处理单位的不同分为：

以像素点作为基本处理单位逐点进行渲染与重建，该方法获得的渲染图像和重建模型比较真实，但是速度较慢；

以网格作为基本处理单位进行渲染与重建，该计算速度较快，基本能满足实时渲染的要求，但是当网格内包含目标边界时导致渲染图像和重建模型失真。

 

另外，现有的诸多渲染与重建算法均要求已知不同观测视点的坐标，而现实情况下并不一定能精确获得视点的坐标，例如水下机器人受水流冲击影响，在拍照时坐标很难确定。本文是以图像粒（即连通区域）作为基本处理单位，研究基于空间多视点图像的三维场景渲染与重建技术。主要研宄内容包括：

（１）基于形态学连通性理论的粒化研究

考虑到图像的色相、亮度和纹理等特性，提出了利用形态学属性连通算子研宄彩色图像的粒化方法，每个粒代表了一个不规则形状的连通区域。同一粒的内部像素点具有同质性或相同的纹理结构，不同粒中像素点的值具有不同的特性。探讨了基于隐马尔科夫模型的粒边界确定方法，降低了视角、光照对彩色图像粒化的影响。

（２）基于空间拓扑结构的图像配准研究

建立了基于有向图的图像粒（连通区域）空间拓扑结构关系，引入可达矩阵分析拓扑结构图中有向树和有向回路（即广义顶点）的特点。将图像粒进行模糊化，探讨了基于模糊推理的不同视点间图像粒的全局最佳匹配问题，在图像粒匹配的基础上，分析粒内特征点匹配关系，建立了匹配粒内像素点的单应映射。该方法消除了具有自相似结构的不同视点图像间错误匹配问题。

（３）在未知多视点相机位置关系的前提下，实现三维场景渲染与重建。

针对相机径向畸变等因素的影响，提出了基于加权Ｓａｍｐｓｏｎ近似的不同视点相机间

相对位置计算方法。提出了基于视图张力漂移的场景深度估计方法，并且研宄了基于图像粒的空间变换与场景深度图相结合的三维场景渲染方法，研宄了模型表面拟合与点云模型修正相结合的三维模型重建技术。上述方法在未知多视点相对位置关系的前提下，降低了累积误差的影响，能够比较真实的实现三维场景的渲染与重建。

 

基于RGBD的三维重建：

https://www.gameres.com/676770.html

简单地说，三维重建就是从输入数据中建立3D模型。其中，在面向消费者层面的深度相机出现以前，三维重建技术的输入数据通常只有RGB图像（图1左）。通过对物体的不同角度拍摄的RGB图像，使用相关的计算机图形学和视觉技术，我们便可以重建出该物体的三维模型。不过，早期的三维重建技术得到的模型精度往往较低，且技术的适用范围有限。消费者层面的深度相机的出现为三维重建技术提供了深度图像（depth image）数据，大大降低了重建的难度，并使得三维重建技术可以应用到几乎任何现实场景中（图1右）。由于基于深度相机的三维重建技术所使用的数据是RGB图像和深度图像，因此，这类技术通常也被称为基于RGBD数据的三维重建技术（D指代depth）。