3D相机初步

1 概述

使用普通2D相机对物体进行拍摄，实际上是将真实三维世界中的物体向相机二维成像平面做映射。这个过程是一个信息失真的过程。如果我们只想了解物体某个方面的形状、大小、纹理、位置等信息，2D摄像机就可以满足需求。但如果我们想对物体进行更全面立体的了解，我们就需要知道物体的深度信息，也就是在平面之上增加一个感知维度，这时我们就需要3D相机。

随着人工智能技术的快速发展，人们对人工智能体的要求也在不断提高，而更高的智能化水平也意味着要采集、处理更全面丰富的环境信息。在这种情况下，3D相机相比于传统2D相机更能满足技术的发展和落地。近年来，得益于无人驾驶和元宇宙产业的蓬勃发展，3D视觉技术得到了前所未有的关注，越来越多的公司进入了3D相机研发的领域。

根据相机获取其所拍摄物体深度信息的原理，3D相机可分为双目相机和深度相机两大类。其中，双目相机是在平行的两个普通RGB摄像头拍摄的图像基础上，利用两个摄像头之间的基线距离进行几何计算实现对深度图的获取；而深度相机是采用不同于一般摄像头的被动成像原理，在相机中加入能投射特定光束的光学发射器，并根据摄像头采集到的光束反射信息实现对物体深度信息的计算或获取，根据技术原理的不同，深度相机又分为结构光和TOF两种。

2 双目相机

2.1 视差图

如前所述，双目相机是通过平行的两个普通摄像头采集到的图像信息来计算深度图的，这和人使用双眼来观察世界的原理相同。双目相机的两个RGB摄像头由于其所处位置的微小差异导致采集到的图像信息也存在差异，基于这种差异我们可以使用立体匹配算法得到视差图（disparity map）。立体匹配算法又有稀疏立体匹配和稠密立体匹配两类。