应用程序实用工具——使用 Creative Senz3D 和其他兼容 Intel RealSense SDK 的深度传感器 OpenCV v4.8.0

上一个教程 ： 使用 Orbbec Astra 3D 相机

硬件

注：由于 PerC SDK 已被 RealSense SDK 取代，本教程已部分过时

通过 VideoCapture 类支持与 Intel® RealSense SDK 兼容的深度传感器。使用熟悉的 VideoCapture 界面可以检索深度图、RGB 图像和其他一些输出格式。

要将深度传感器与 OpenCV 结合使用，需要执行以下初步步骤：

1. 安装英特尔 RealSense SDK 2.0（https://github.com/IntelRealSense/librealsense）。
2. 在 CMake 中设置 WITH_LIBREALSENSE 标志，配置 OpenCV 支持英特尔 RealSense SDK。如果在安装文件夹中找到英特尔 RealSense SDK，OpenCV 将使用英特尔 RealSense SDK 库构建（请查看 CMake 日志中的 LIBREALSENSE 状态）。
3. 构建 OpenCV。

VideoCapture 可获取以下数据：

1. 深度生成器提供的数据：
   • CAP_INTELPERC_DEPTH_MAP - 每个像素都是一个 16 位整数。该值表示物体到摄像机 XY 平面的距离或笛卡尔深度。(CV_16UC1)
   • CAP_INTELPERC_UVDEPTH_MAP - 每个像素包含两个 0-1 范围内的 32 位浮点数值，表示深度坐标到颜色坐标的映射。(CV_32FC2)
   • CAP_INTELPERC_IR_MAP - 每个像素都是一个 16 位整数。该值表示反射激光束的强度。(CV_16UC1)
2. 数据来自 RGB 图像生成器：
   • CAP_INTELPERC_IMAGE - 彩色图像。(CV_8UC3)

为了从深度传感器获取深度图，请使用 VideoCapture::operator >>，例如 ：

VideoCapture capture( CAP_REALSENSE )；
for(;;)
{
 Mat depthMap；
 capture >> depthMap；
 if( waitKey( 30 ) >= 0 )
 break；
}

要获取多个数据映射，请使用 VideoCapture::grab 和 VideoCapture::retrieve，例如 ：

VideoCapture capture(CAP_REALSENSE)；
for(;;)
{
 Mat depthMap；
 Mat image；
 Mat irImage；
 capture.grab()；
 capture.retrieve( depthMap, CAP_INTELPERC_DEPTH_MAP )；
 capture.retrieve( image, CAP_INTELPERC_IMAGE )；
 capture.retrieve( irImage, CAP_INTELPERC_IR_MAP)；
 if( waitKey( 30 ) >= 0 )
 break；
}

要设置和获取传感器数据生成器的某些属性，请分别使用 VideoCapture::set 和 VideoCapture::get 方法，例如 ：

VideoCapture capture(CAP_REALSENSE)；
capture.set( CAP_INTELPERC_DEPTH_GENERATOR | CAP_PROP_INTELPERC_PROFILE_IDX, 0 )；
cout << "FPS " << capture.get( CAP_INTELPERC_DEPTH_GENERATOR+CAP_PROP_FPS ) << endl；

由于支持两种类型的传感器数据生成器（图像生成器和深度生成器），因此需要使用两个标志来设置/获取所需生成器的属性：

• CAP_INTELPERC_IMAGE_GENERATOR - 用于访问图像生成器属性的标志。
• CAP_INTELPERC_DEPTH_GENERATOR - 用于访问深度生成器属性的标志。如果该属性的两个可能值均未设置，则默认使用该标志值。
  有关详细信息，请参阅 opencv/samples/cpp 文件夹中的 videocapture_realsense.cpp 使用示例。