【三维室内数据集】SUN RGB-D使用说明

  【版权声明】
本文为博主原创文章，未经博主允许严禁转载，我们会定期进行侵权检索。   

参考书籍：《人工智能点云处理及深度学习算法》

 本文为专栏《Python三维点云实战宝典》系列文章，专栏介绍地址“【python三维深度学习】python三维点云从基础到深度学习_python3d点云从基础到深度学习-CSDN博客”。配套书籍《人工智能点云处理及深度学习算法》提供更加全面和系统的解析。

        SUN RGB-D数据集是一个室内场景的RGB-D（彩色和深度）图像数据集，包含了丰富多样的物体和场景，可以用于深度学习、计算机视觉、机器人等领域的研究和应用。该数据集包含10,335张真实场景的室内图片。

        该数据集的文件组成如下：

        （1）SUNRGBD：文件夹存储了全部原始图像数据（包括RGB和深度图片）及其标注信息，分别来源于Kinect v1、Kinect v2、realsense和xtion等4种采集设备，相应文件夹名称为Kinect v1、v2、realsense和xtion。需要注意的是，由于Kinect v1相机的深度精度较低，SUN RGBD数据集中的深度图像可能存在噪声和缺失等问题，因此在使用时需要进行一定的预处理和质量控制。

        （2）SUNRGBDtoolbox: 主要包含标签数据与一些工具函数和脚本，用于读取、可视化和处理数据集中的图像与标注。标签存储于SUNRGBDtoolbox/Metadata文件夹。该文件夹下SUNRGBDMeta.mat存储2D和3D目标边界框与每帧图像信息（如每个图像的文件名、对应的场景类型、相机参数等）。SUNRGBD2Dseg.mat存储二维图像分割标签。

        SUNRGBDtoolbox/traintestSUNRGBD文件夹下的allsplit.mat存储了训练集和测试集样本索引。SUNRGBDtoolbox/demo.m是数据加载和可视化的示例程序。SUNRGBDtoolbox/readframeSUNRGBD.m是从json文件中读取 SUNRGBD 标注的示例程序。

        python读取mat格式数据程序如下，读取后的数据以字典保存。

from scipy.io import loadmat
data = loadmat('xxx.mat')
print(data.keys())

        （3）SUNRGBDMeta2DBB_v2.mat：存储了SUN RGBD数据集中所有物体的2D边界框投影结果。该文件是一个MATLAB结构体数组all2DBB, 包含了每个物体在RGB图像中的2D边界框信息，以及该物体所在场景的文件名、场景中的物体数量等信息。具体来说，all2DBB的每个元素都是一个结构体，包含以下字段：

1. imgname: 该物体所在场景的文件名。
2. depthname: 该物体所在场景的深度图像文件名。
3. rgbname: 该物体所在场景的RGB图像文件名。
4. cls_indexes: 该物体的类别标签。
5. ground truth bounding box: 一个1x4的矩阵，表示该物体在RGB图像中的2D边界框，格式为[x1, y1, x2, y2]，其中(x1, y1)为左上角坐标，(x2, y2)为右下角坐标。
6. Rtilt: 该物体所在场景的相机旋转矩阵。
7. K: 该物体所在场景的相机内参矩阵。
8. depthInpaint: 该物体所在场景的深度图像。
9. valid: 布尔值，表示该物体是否为合法物体（即深度图像中包含该物体的位置没有明显的遮挡或噪声等）。

        （4）SUNRGBDMeta3DBB_v2.mat：存储了所有物体的3D边界框信息。该文件是一个MATLAB结构体数组SUNRGBDMeta, 包含了每个物体在3D空间中的位置、朝向和大小等信息，以及该物体所在场景的文件名、场景中的物体数量等信息。具体来说，SUNRGBDMeta的每个元素都是一个结构体，包含以下字段：

1. seqname: 该物体所在场景的文件名。
2. depthpath: 该物体所在场景的深度图像文件名。
3. rgbpath: 该物体所在场景的RGB图像文件名。
4. intrinsics: 该物体所在场景的相机内参矩阵。
5. poses: 该物体的位姿矩阵，包括了位置和朝向信息。
6. dimensions: 该物体的大小矩阵，包括了长、宽和高等信息。
7. label: 该物体的类别标签。
8. classname: 该物体的类别名称。

        除了以上文件，数据集还提供了一些附加的信息和工具，如场景和房间的标注、RGB-D 数据对齐的 Matlab 程序等。这些文件和信息可以在数据集的官方网站上找到。

【版权声明】
本文为博主原创文章，未经博主允许严禁转载，我们会定期进行侵权检索。  

更多python与C++技巧、三维算法、深度学习算法总结、大模型请关注我的博客，欢迎讨论与交流：https://blog.csdn.net/suiyingy，或”乐乐感知学堂“公众号。Python三维领域专业书籍推荐：《人工智能点云处理及深度学习算法》。

 本文为专栏《Python三维点云实战宝典》系列文章，专栏介绍地址“【python三维深度学习】python三维点云从基础到深度学习_python3d点云从基础到深度学习-CSDN博客”。配套书籍《人工智能点云处理及深度学习算法》提供更加全面和系统的解析。