散斑结构光三维重建原理详细汇总

来源： 杠杠科研笔记库

研究背景

计算成像技术作为一种全新的成像方式，在光电成像领域呈现出蓬勃发展的趋势，诸如偏振三维成像、结构光三维成像等技术都取得了长足的进展。结构光作为一种主动式测距完成物体三维重建的光源，在医疗领域、AR、VR、工业视觉检测领域、汽车行业、航空航天领域都发挥了自己的优势。

过去针对传统相机只能获取物体的二维信息，无法获得物体的深度信息，结构光三维成像逐渐走入大家的视野。一组由摄像头和投影仪组成的系统在部分科研研究的工作中慢慢崭露头角。利用投影仪投射特定的光信息到物体表面和背景后，由摄像头开始进行采集，根据结构光投影图案的畸变信息提取物体表面轮廓三维形状、根据物体表面轮廓造成光信号信息的改变来计算物体的位置和深度信息。

散斑结构光介绍

散斑，也称为伪随机散斑，作为一种面结构光的图案，由一些白色斑点组成，通常与双目立体匹配结合使用，增加纹理信息，改善弱纹理、改善纹理区域的视差效果。在双目立体视觉的基础上借助数字散斑，增加了被测物体表面的辅助特征，立体匹配后获得精确的浓密视差图，最后根据摄像机的标定结果得到物体的三维坐标。在获得散斑图的过程中，最常见的三种方法是激光照射漫反射表面后干涉产生的激光散斑图、人工喷涂黑白漆以及计算机模拟生成散斑图。下图给出一幅利用Matlab模拟生成的散斑图：

用散斑结构光进行实验的过程中，将此非周期随机数字散斑投影到物体表面，随机数字散斑的形态受到物体表面信息的调制，由于数字散斑的随机性，物体表面任意一点的高度信息可由散斑图像的微小邻域唯一确定。在双目立体视觉的支持下，摄像机从两个不同视角观察拍摄同一场景或物体，获得不同视角下的立体感知图像，通过三角测量原理获得两幅图像像素之间的视差，根据视差信息和相机标定参数回复空间三维场景或物体三维信息（此处的相机标定方法采用的是张正友标定法）。这之前还需要把计算机上生成的模拟散斑图通过投影仪投影到被测物体上。整个散斑结构光与双目立体视觉结合对物体进行三维重建的过程分为：图像采集→摄像机标定→立体匹配→亚像素插值→完成三维重建。

问题讨论

这里，数字散斑的优势在于增加被测物体表面的辅助特征，提高了立体匹配效率；结合双目立体视觉是因为在理想情况下，经过系统标定之后，左右两个摄像机的成像平面是位于同一平面的，这样方便计算视差。还需要讨论的问题有（1）计算机模拟生成散斑的质量问题，这直接影响到立体匹配的精度；（2）散斑匹配窗口的选择性问题，针对被测物体表面若存在不连续性，大匹配窗口和小匹配窗口的选择决定是否能够获得稠密、精度高的视差图。（3）相机标定的过程当中还涉及四大坐标系的转换关系计算（推导过程大家可自行计算），从而得到摄像机的外参数矩阵，摄像机的内参数矩阵通过Matlab自带的标定工具箱进行标定即可获得。

发展展望

对于散斑结构光进行三维重建过程由于其自身测量距离的局限性，应用的领域受到了一定的限制，与其他三维成像技术的结合工作还需要进一步的研究看能否进行展开。

告读者

因为作者本人能力有限，对于散斑结构光未提及的方面欢迎大家随时补充，文章中如有错讲或漏讲的部分也欢迎大家进行批评指正！感谢大家的阅读！

参考文献

Research on binocular vision 3D reconstruction algorithm based on digital speckle

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

添加小助理微信：dddvisiona，加群+方向+学校|公司，拉你入群