深度图详解

Death200

于 2024-10-03 00:59:10 发布

阅读量585

点赞数 7

文章标签：数码相机 c++ 视觉检测 c#

本文链接：https://blog.csdn.net/weixin_73414031/article/details/142687398

版权

深度图（Depth Map）是一种特殊的图像，其中每个像素不仅携带位置的信息，还表示该像素对应物体或表面与摄像机或传感器之间的距离。它是计算机视觉和图像处理中的重要概念，能够帮助系统从二维图像中获取场景的三维几何信息。

像素值表示深度：深度图的每个像素值代表场景中该点到摄像头或传感器的距离，通常用灰度值来表示。较亮的像素表示较近的物体，而较暗的像素则表示较远的物体。深度值可以是以毫米、米等单位测量的实际距离，或是相机坐标系中的相对距离。
相对深度 vs 绝对深度：
- 相对深度：在某些情况下，深度图并不提供场景中物体的实际物理距离，而是提供一种相对深度信息，即物体间的相对远近。
- 绝对深度：这种深度图包含物体到传感器的真实物理距离，这对机器人导航、3D建模等精确应用至关重要。
单通道灰度图像：深度图通常是单通道图像，不包含颜色信息。每个像素的值是一个浮点数或整数，代表场景中的深度。与RGB图像相比，深度图通常更强调几何信息，而非视觉纹理。
视角和投影：深度图反映的是从摄像机或传感器视角下的距离，因此它通常依赖于特定的相机模型。不同视角或摄像机位置会产生不同的深度图。相机内参（如焦距、光心位置）和外参（相机在空间中的位置和方向）都会影响深度图的生成。

视差图（Disparity Map）：视差图是立体视觉系统中的一种深度图，它描述的是物体在两幅图像中的位移差异。通过视差值的大小，可以计算场景中的深度信息，通常在双目立体视觉系统中使用。
深度图与点云的关系：深度图可以通过一定的变换（结合摄像头的内参和外参）转化为点云，每个像素代表一个三维空间中的点。点云是更为直观的三维表示方法，它将场景中的几何信息直接表示为三维坐标。

立体视觉（Stereo Vision）：利用两个相机从不同视角拍摄同一场景，通过计算视差（两个图像中同一物体的像素位移差）得到深度信息。
飞行时间（ToF）：飞行时间技术通过发射光脉冲并测量其返回时间来计算深度。传感器发出的光脉冲遇到物体反射回来，测量光脉冲的时间差可以得出物体的距离。ToF传感器通常用于实时深度感知，例如在手机面部识别中。
结构光（Structured Light）：通过将预定义的光栅图案投影到物体表面，摄像头分析投射光图案的变形，从而推断物体的形状和深度。这种技术被广泛应用于3D扫描设备，如早期的微软Kinect传感器。
深度学习预测：利用深度学习网络通过单张RGB图像来预测场景的深度，这种方法在缺乏传感器时非常有效，但其精度通常取决于训练数据和网络结构。

深度图的分辨率：深度图的分辨率通常比彩色图像低，尤其是在较远距离时，深度分辨率会显著下降。这是因为深度传感器的精度通常有限，特别是在测量较远物体时。
噪声与缺失数据：深度图容易受到噪声的影响，例如由于传感器的物理限制或外部光照条件的变化。在复杂场景中，深度图还可能出现数据缺失，例如在阴影或反光区域，传感器可能无法准确测量深度。
遮挡与边界问题：由于场景中物体相互遮挡，某些区域的深度信息可能不可用。在边界区域，物体深度的突然变化可能会导致深度图边缘模糊，无法准确捕捉细节。
处理与后处理：为了提高深度图的质量，通常会进行一些后处理操作，如：
- 滤波：通过中值滤波、双边滤波等去除噪声。
- 插值：对于缺失的深度数据，可以通过插值算法填补空缺区域。