本文章主要涉及以下工作:
(1)详细介绍了Intel RealSense Viewer 可视化软件的部分使用教程。
(2)若使用 Intel RealSense 相机完成图像采集工作,并用于制作 YOLO 目标检测算法的数据集,可参考 使用 Intel RealSense 采集图片并制作机器视觉数据集(附代码)和 YOLO算法的自定义数据集制作及模型训练方法。
如果文章有用,欢迎各位→点赞👏 + 收藏💞 + 留言🔔 😁🌹🌹
1. 概述
(1) 说明
Intel RealSense Viewer 在 Windows 和 Linux 上以二进制形式提供,也可与 librealsense 库的其他部分一起从源代码构建。该查看器设计轻巧,只需少量嵌入式依赖项。跨平台用户界面是原始OpenGL调用、用于跨平台窗口和事件管理的GLFW以及用于界面元素的IMGUI的组合。
(2) 特点
- 工具适用于所有英特尔® RealSense D400 系列/SR300 摄像头
- 工具支持 Windows 10 和 Linux
(3) 功能
- 同时从多个 RealSense 设备传输数据流
- 实时或通过导出到文件来探索点云数据
- 记录 RealSense 数据或回放记录的数据
2. 数据流
Intel RealSense Viewer 允许用户选择和配置深度、红外和RGB数据流。在完成配置后,用户必须单击 off 按钮开启数据流。Intel RealSense Viewer 同时支持 USB2.0 和 USB3.0,因此可用的配置参数会因 USB2.0 / USB3.0 功能而有所不同。
(1) Presets(预设)
为了方便使用,英特尔公司创建了一系列预置将相机性能调至最优,用户可以根据自己的使用情况进行选择。初始预设为 “Custom”,可以是默认预设,也可以是用户修改过的预设。只有当用户主动选择预设或加载 JSON 文件时,预设才会生效,预设菜单中的内容也会相应更新。
- Default Preset:视觉效果最佳,边缘整齐,减少点云喷涂。
- High Accuracy Preset:深度阈值可信度高,填充因子较低。
- High Density Preset:更高的填充系数可查看更多物体。
- Medium Density Preset:平衡填充系数和精度。
- Hand Gesture Preset:跟踪和手势识别。
(2) Resolution(分辨率)
D400 系列摄像机提供有多种分辨率选择,例如 D415 可支持分辨率为 424x240~1920x1080;D435 可支持的分辨率范围为从 424x240 到 1280x800 。用户应选择最适合使用的分辨率。请注意,分辨率越高,精确度越高,但会导致最小测量误差增大。
(3) Frame Rate(帧率)
D400 系列摄像机提供多种帧率选择,支持的帧率从 6 到 90 FPS不等,具体取决于所选的分辨率。
(4) Available Streams(可用数据流)
Intel RealSense Viewer 允许用户选择深度、红外和 RGB 流的组合。用户可以从可用数据流列表中选中/取消选中一个数据流,以启用/禁用该数据流。
(5) Stream Formats(流格式)
特定数据流的格式,每个数据流的可用格式可能不同。
下图显示的是深度通道的格式,仅有 Z16 格式(每个像素用16位整数表示深度值)。
下图显示的是D400红外通道的格式。
- RGB8:指 24 (3×8=24) 位彩色图像,即每个通道有 2 的 8 次方个灰度级,3 个通道可以表示 16777216 种颜色。
- BGR8:指 24 (3×8=24) 位彩色图像,即每个通道有 2 的 8 次方个灰度级,3 个通道可以表示 16777216 种颜色,其中 BGR 指的是颜色通道顺序改变后的 RGB。
- RGBA8:指 32 (4×8=32) 位彩色图像,即每个通道有 2 的 8 次方个灰度级,4 个通道可以表示 4294967296 种颜色,其中 RGBA 指的是颜色通道 RGB 和 Alpha 透明度。
- BGRA8:指 32 (4×8=32) 位彩色图像,即每个通道有 2 的 8 次方个灰度级,4 个通道可以表示 4294967296 种颜色,其中 BGRA 指的是颜色通道 BGR 和 Alpha 透明度。
- Y16:红外探测器输出的数据经过采样之后叫 X16 数据(也叫探测器原始数据),X16数据经过NUC校正(包含两点校正与单点校正)以后的数据叫 Y16 数据。
- Y8:Y16数据经过图像映射到 8位灰度图像数据,并经过图像算法处理之后的数据,称为Y8数据。
- UYVY:UYVY 格式的视频信号是由四个分量组成的,分别是 Y(亮度)和 U、V(色度)。UYVY 格式的视频信号通常用于传输标清(SD)或高清(HD)视频信号。
3. 设备信息
Intel RealSense Viewer 包含简单的设备信息,如序列号、固件版本和产品ID等。要显示/隐藏设备信息部分,请单击配置面板顶部的信息按钮。连接到不同的USB类型时,信息会有所不同。
4. 深度可视化
(1) Visual Preset(视觉预设)
Intel RealSense Viewer 提供四种可用的预设值,以便在不同的环境下更好地进行可视化。
- Dynamic:颜色将根据有效深度像素值范围动态变化。例如,如果图像中的有效深度像素值范围在 45 厘米到 120 厘米之间,那么 45 厘米的像素将被染成蓝色,120 厘米的像素将被染成红色。但如果有效深度像素范围为 45 厘米至 4 米+,则 45 厘米像素为蓝色,4 米+像素为红色。
- Fixed:颜色变化与设备 min-z 至 6 m 之间的距离成正比。
- Near:颜色仅在 1.5 米左右的短距离内按比例变化,超过 1.5 米的距离则颜色相似。
- Far:从 6 米开始到相机所能看到的范围内,颜色按比例变化。
(2) Color Scheme(颜色策略)
不同的颜色表示如下:
(3) Histogram Equalization(直方图均衡化)
直方图均衡化会在可用的有效像素值范围内按比例改变颜色,就像 Dynamic 模式一样。禁用该功能将导致颜色表示根据最小/最大距离配置发生变化。例如,如果深度图像包含的有效深度像素值范围为 45 厘米至 3 米,则颜色将在此范围内按比例扩散。禁用该功能后,颜色将根据最小/最大距离设置进行扩展。
(4) Min Distance(最小距离)
深度伪彩色化的最小距离。
(5) Max Distance(最大距离)
深度伪彩色化的最大距离。
5. 录制、回放与点云视图
(1) Recording(录制)
视频录像可以作为问题重复和调试的输入资源。要录制视频,请单击 “Record” 按钮。要停止录制,请点击 “Stop” 按钮,录制的内容将被保存。您可以检查输出面板以查看它被保存到哪里。
当录制开始时,显示区域将有闪烁的红点在流媒体的顶部。
(2) Playback(回放)
点击左上角的 “+ Add Source” 按钮,选择录制的.bag 文件作为输入源,回放包含录制时的数据流配置,如预设、曝光、激光功率等。然后,可以将回放重新设置为来自相机的数据流,以应用任何后期处理并更改可视化效果。
(3) 3D
单击可切换到3D点云视图,在查看器中,您可以从下拉框中选择不同的纹理源,将其更改为不同的流。