【版权声明】
本文为博主原创文章,未经博主允许严禁转载,我们会定期进行侵权检索。
参考书籍:《人工智能点云处理及深度学习算法》
本文为专栏《Python三维点云实战宝典》系列文章,专栏介绍地址“【python三维深度学习】python三维点云从基础到深度学习_python3d点云从基础到深度学习-CSDN博客”。配套书籍《人工智能点云处理及深度学习算法》提供更加全面和系统的解析。
SUN RGB-D数据集是一个室内场景的RGB-D(彩色和深度)图像数据集,包含了丰富多样的物体和场景,可以用于深度学习、计算机视觉、机器人等领域的研究和应用。该数据集包含10,335张真实场景的室内图片。
该数据集的文件组成如下:
(1)SUNRGBD:文件夹存储了全部原始图像数据(包括RGB和深度图片)及其标注信息,分别来源于Kinect v1、Kinect v2、realsense和xtion等4种采集设备,相应文件夹名称为Kinect v1、v2、realsense和xtion。需要注意的是,由于Kinect v1相机的深度精度较低,SUN RGBD数据集中的深度图像可能存在噪声和缺失等问题,因此在使用时需要进行一定的预处理和质量控制。
(2)SUNRGBDtoolbox: 主要包含标签数据与一些工具函数和脚本,用于读取、可视化和处理数据集中的图像与标注。标签存储于SUNRGBDtoolbox/Metadata文件夹。该文件夹下SUNRGBDMeta.mat存储2D和3D目标边界框与每帧图像信息(如每个图像的文件名、对应的场景类型、相机参数等)。SUNRGBD2Dseg.mat存储二维图像分割标签。
SUNRGBDtoolbox/traintestSUNRGBD文件夹下的allsplit.mat存储了训练集和测试集样本索引。SUNRGBDtoolbox/demo.m是数据加载和可视化的示例程序。SUNRGBDtoolbox/readframeSUNRGBD.m是从json文件中读取 SUNRGBD 标注的示例程序。
python读取mat格式数据程序如下,读取后的数据以字典保存。
from scipy.io import loadmat
data = loadmat('xxx.mat')
print(data.keys())
(3)SUNRGBDMeta2DBB_v2.mat:存储了SUN RGBD数据集中所有物体的2D边界框投影结果。该文件是一个MATLAB结构体数组all2DBB, 包含了每个物体在RGB图像中的2D边界框信息,以及该物体所在场景的文件名、场景中的物体数量等信息。具体来说,all2DBB的每个元素都是一个结构体,包含以下字段:
- imgname: 该物体所在场景的文件名。
- depthname: 该物体所在场景的深度图像文件名。
- rgbname: 该物体所在场景的RGB图像文件名。
- cls_indexes: 该物体的类别标签。
- ground truth bounding box: 一个1x4的矩阵,表示该物体在RGB图像中的2D边界框,格式为[x1, y1, x2, y2],其中(x1, y1)为左上角坐标,(x2, y2)为右下角坐标。
- Rtilt: 该物体所在场景的相机旋转矩阵。
- K: 该物体所在场景的相机内参矩阵。
- depthInpaint: 该物体所在场景的深度图像。
- valid: 布尔值,表示该物体是否为合法物体(即深度图像中包含该物体的位置没有明显的遮挡或噪声等)。
(4)SUNRGBDMeta3DBB_v2.mat:存储了所有物体的3D边界框信息。该文件是一个MATLAB结构体数组SUNRGBDMeta, 包含了每个物体在3D空间中的位置、朝向和大小等信息,以及该物体所在场景的文件名、场景中的物体数量等信息。具体来说,SUNRGBDMeta的每个元素都是一个结构体,包含以下字段:
- seqname: 该物体所在场景的文件名。
- depthpath: 该物体所在场景的深度图像文件名。
- rgbpath: 该物体所在场景的RGB图像文件名。
- intrinsics: 该物体所在场景的相机内参矩阵。
- poses: 该物体的位姿矩阵,包括了位置和朝向信息。
- dimensions: 该物体的大小矩阵,包括了长、宽和高等信息。
- label: 该物体的类别标签。
- classname: 该物体的类别名称。
除了以上文件,数据集还提供了一些附加的信息和工具,如场景和房间的标注、RGB-D 数据对齐的 Matlab 程序等。这些文件和信息可以在数据集的官方网站上找到。
【版权声明】
本文为博主原创文章,未经博主允许严禁转载,我们会定期进行侵权检索。
更多python与C++技巧、三维算法、深度学习算法总结、大模型请关注我的博客,欢迎讨论与交流:https://blog.csdn.net/suiyingy,或”乐乐感知学堂“公众号。Python三维领域专业书籍推荐:《人工智能点云处理及深度学习算法》。
本文为专栏《Python三维点云实战宝典》系列文章,专栏介绍地址“【python三维深度学习】python三维点云从基础到深度学习_python3d点云从基础到深度学习-CSDN博客”。配套书籍《人工智能点云处理及深度学习算法》提供更加全面和系统的解析。