【深度学习】语义分割 NYUv2 数据集

数据集下载

去到NYU Depth V2[1] 官网下载数据集，如下图所示。这里我们只是用RGB数据，不使用RGB-D数据（带深度信息），所以只需要下载Labeled dataset (~2.8 GB)即可。此外还需要下载划分训练/测试数据集的文件：Train / Test Split

至此，可以得到nyu_depth_v2_labeled.mat包含全部原始图像和相应标注，splits.mat包含训练集和验证集的划分。

数据集的转换

概述

NYUv2一共提供了1449张RGB图像和和894个类别标注。在有些研究工作中，如[2][3]，仅使用40个语义类别进行训练和评估，通常称之为NYUv2-40。模型训练中一般使用标准划分：795和654分别用于训练和测试。原始数据集使用.mat格式，我们需要将相应的数据提取出来。

参考MXNetSeg提供的脚本和方法对原始文件进行处理，处理后结果如下图。

参考文献

[1] N. Silberman, D. Hoiem, P. Kohli, and R. Fergus. Indoor segmentation and support inference from rgbd images. In Proceedings of the European Conference on Computer Vision, 2012.
[2] S. Gupta, P. Arbelaez, and J. Malik. Perceptual organization and recognition of indoor scenes from rgb-d images. In Pro- ceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013.
[3] Lin G, Milan A, Shen C, et al. RefineNet: Multi-path Refinement Networks for High-Resolution Semantic Segmentation. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017.