【语义分割】——语义分割数据集总结 ADE20K/cityScapes/VOC12_AUG

1. ADE20K

链接： ADE20K/

简介： 图片包含室内和室外数据集，上图是一些例图

场景：
场景比较丰富：室内，室外，自然场景等。单张场景的类别也较多。

特点：

• 训练集：20210张图片
• 验证集：200张
• 共150个类别（但是语义标注的时候，像素点不能全面覆盖，存在偶尔有点漏掉的现象，于是标注的时候会多一个 “0” 类别，不计入loss的计算，但是网络的输出只有150个类别）
• 语义信息的标注是在一张灰度图像上的，只是各个点的取值范围是(0-150, 0表示背景类，不计入loss计算)
• 类别文件就不全贴出来了。

background	背景
wall	墙
building	建筑
sky	天空
floor	地板
tree	树
ceiling	天花板
road	路
bed 	床
windowpane	窗玻璃
grass	草地
cabinet	柜子
sidewalk	人行道
person	人
earth	地
door	门
table	桌子
...

2. cityScapes

简介： Cityscapes数据集中于城市街道场景的语义理解

特点：

• 5000张像素级标注图片，20000张弱标注图片
• 数据集共有30个类别
• 采集自50个不同的城市
• 不同的月份（春夏秋）
• 白天
• 好、中好天气
• 单张图片中有多个物体，不同的场景布局，不同的背景

标注原则
有标记的前景对象绝对不能有洞，也就是说，如果有一些通过前景对象可见的背景，它就被认为是前景的一部分。这也适用于与两个或更多类高度混合的区域:它们被标记为前景类。例如:房子前面的树叶或天空(everything tree)，透明的车窗(everything car)。

类别定义

Group	Classes
flat	road · sidewalk · parking+ · rail track+
human	person* · rider*
vehicle	car* · truck* · bus* · on rails* · motorcycle* · bicycle* · caravan*+ · trailer*+
construction	building · wall · fence · guard rail+ · bridge+ · tunnel+
object	pole · pole group+ · traffic sign · traffic light
nature	vegetation · terrain
sky	sky
void	ground+ · dynamic+ · static+

粗糙标注
为20000张图片提供了粗糙的多边形标注。同样，重叠的颜色对语义类进行编码(参见类定义)。注意，我们的目标不是注释单个实例，但是，我们标记了覆盖单个对象的多边形。

cityscape标签与label的对应关系

/home/zzp/SSD_ping/anaconda3/envs/z1/bin/python /home/zzp/SSD_ping/my-root-path/My-core-python/pytorch-deeplabV3+/cityscapesScripts-master/cityscapesscripts/helpers/labels.py
List of cityscapes labels:
# Please adapt the train IDs as appropriate for your approach.
# Note that you might want to ignore labels with ID 255 during training.
# Further note that the current train IDs are only a suggestion. You can use whatever you like.
# Make sure to provide your results using the original IDs and not the training IDs.
# Note that many IDs are ignored in evaluation and thus you never need to predict these!
 
                     name |  id | trainId |       category | categoryId | hasInstances | ignoreInEval|        color
    --------------------------------------------------------------------------------------------------
                unlabeled |   0 |     255 |           void |          0 |            0 |            1 |         (0, 0, 0)
              ego vehicle |   1 |     255 |           void |          0 |            0 |            1 |         (0, 0, 0)
     rectification border |   2 |     255 |           void |          0 |            0 |            1 |         (0, 0, 0)
               out of roi |   3 |     255 |           void |          0 |            0 |            1 |         (0, 0, 0)
                   static |   4 |     255 |           void |          0 |            0 |            1 |         (0, 0, 0)
                  dynamic |   5 |     255 |           void |          0 |            0 |            1 |      (111, 74, 0)
                   ground |   6 |     255 |           void |          0 |            0 |            1 |       (81, 0, 81)
                     road |   7 |       0 |           flat |          1 |            0 |            0 |    (128, 64, 128)
                 sidewalk |   8 |       1 |           flat |          1 |            0 |            0 |    (244, 35, 232)
                  parking |   9 |     255 |           flat |          1 |            0 |            1 |   (250, 170, 160)
               rail track |  10 |     255 |           flat |          1 |            0 |            1 |   (230, 150, 140)
                 building |  11 |       2 |   construction |          2 |            0 |            0 |      (70, 70, 70)
                     wall |  12 |       3 |   construction |          2 |            0 |            0 |   (102, 102, 156)
                    fence |  13 |       4 |   construction |          2 |            0 |            0 |   (190, 153, 153)
               guard rail |  14 |     255 |   construction |          2 |            0 |            1 |   (180, 165, 180)
                   bridge |  15 |     255 |   construction |          2 |            0 |            1 |   (150, 100, 100)
                   tunnel |  16 |     255 |   construction |          2 |            0 |            1 |    (150, 120, 90)
                     pole |  17 |       5 |         object |          3 |            0 |            0 |   (153, 153, 153)
                polegroup |  18 |     255 |         object |          3 |            0 |            1 |   (153, 153, 153)
            traffic light |  19 |       6 |         object |          3 |            0 |            0 |    (250, 170, 30)
             traffic sign |  20 |       7 |         object |          3 |            0 |            0 |     (220, 220, 0)
               vegetation |  21 |       8 |         nature |          4 |            0 |            0 |    (107, 142, 35)
                  terrain |  22 |       9 |         nature |          4 |            0 |            0 |   (152, 251, 152)
                      sky |  23 |      10 |            sky |          5 |            0 |            0 |    (70, 130, 180)
                   person |  24 |      11 |          human |          6 |            1 |            0 |     (220, 20, 60)
                    rider |  25 |      12 |          human |          6 |            1 |            0 |       (255, 0, 0)
                      car |  26 |      13 |        vehicle |          7 |            1 |            0 |       (0, 0, 142)
                    truck |  27 |      14 |        vehicle |          7 |            1 |            0 |        (0, 0, 70)
                      bus |  28 |      15 |        vehicle |          7 |            1 |            0 |      (0, 60, 100)
                  caravan |  29 |     255 |        vehicle |          7 |            1 |            1 |        (0, 0, 90)
                  trailer |  30 |     255 |        vehicle |          7 |            1 |            1 |       (0, 0, 110)
                    train |  31 |      16 |        vehicle |          7 |            1 |            0 |      (0, 80, 100)
               motorcycle |  32 |      17 |        vehicle |          7 |            1 |            0 |       (0, 0, 230)
                  bicycle |  33 |      18 |        vehicle |          7 |            1 |            0 |     (119, 11, 32)
            license plate |  -1 |      -1 |        vehicle |          7 |            0 |            1 |       (0, 0, 142)
 
Example usages:
ID of label 'car': 26
Category of label with ID '26': vehicle
Name of label with trainID '0': road

3. VOC12_AUG

简介： 是基于voc扩充的一个语义分割数据集。其组成可参考:PASCAL VOC 2012 and SBD (the augment dataset) 总结

地址： Semantic Boundaries Dataset and Benchmark

特点:

• 数据集比较大
• 单张图片中物体数量相对较少
• 场景和voc数据集的场景很像
• 训练集10582，val：1449
• 类别也是继承自voc，共20个类别
  

4. InteriorNet

来源: 帝国理工和酷家乐

简介： 包含2200万室内场景，涵盖这些场景的3D、全景、灯光、语义、景深等多种不同样式，可用于深度学习训练和SLAM基准测试，无需手动标注。

场景： 真实世界的家具，整体的设计风格也和真实世界中的室内场景相同

需要邮件确认，还无法下载

5. indoor

简介： 该数据库包含67个室内类别，共计15620张图片。不同类别的图像数量不同，但每个类别至少有100幅图像。所有图片均为jpg格式。

没有总的label，标注格式需要处理

6. other

建筑：
墙，地板，天花板，门，楼梯，自动扶梯

家具：
桌子，椅子/长椅，柜子，盆栽(植物)？

人

问题：

1. 前台/服务台？
   没有标签label/数据

2. 卫生间，××间？
   区别不大，特征不明显，无数据

其他

• 这个数据集用什么工具标注