深度学习图像数据集介绍(MSCOCO)
MSCOCO数据集是微软开发维护的大型图像数据集,次数聚集的任务包括识别(recognition),分割(segementation),及检测(detection)。 该数据集的官方网址为:
http://cocodataset.org/
该数据集合的主要特点:
1)目标分割
2)基于文本识别
3)每张图多目标
4)超过30万图
5)超过2百万实例
6)80种类别
7)平均每张图5个目标
8)对于十万个人有关键点
COCO API提供了Matlab,Python和lua的API接口,该接口可以提供完整的图像标签数据的加载,parsing和可视化。此外还有原始论文及相关实验论,教程等。在使用coco数据库提供的API和demo前要先下载coco的图像和label数据(类别、类别数量、像素级的分割等):
图像下载到本地coco/images/ 文件夹下(为了后面改代码的路经方便)
labels下载到coco/annotations/ 文件夹下
数据集分析
图像分类: 分类基于标注好的标签,将大量数据进行训练,提取出每种图像的关键特征后进行识别。
目标检测:经过关键点构建目标位置,进行位置标注,训练这些标注标签后进行检测。
基于语义的场景标记: 此类的标签制作过程中需要分析多方面的内容,做成像素级别的标签。 在这个数据集中同时包含了室内和室外的场景数据集。
MSCOCO数据示例
COCO数据集分两部分发布,第一次于2014年发布,82783个训练样本,40504验证样本以及40775的测试样本,另外有27万的分割人像图和88.6万的分割物体图。2015年的版本中哦你哦个包括165482的训练样本,81208验证样本和82434测试样本。
我开始在官网上下载没有成功,后来知道了一种方法,可以输入以下命令进行下载/
1、安装aria2
sudo apt-get install aria2
2、依次输入下面三个命令
aria2c -c http://msvocds.blob.core.windows.net/annotations-1-0-3/instances_train-val2014.zip
aria2c -c http://msvocds.blob.core.windows.net/coco2014/train2014.zip
aria2c -c http://msvocds.blob.core.windows.net/coco2014/val2014.zip
根据文件的后缀应该能分得出来,annotation是标签,train2014是训练集,val2014是验证集。我这点玩意下载了一周,失败了几次才完全下载下下来。如果在下载中途中断了,重新输入命令即可。
以上链接可以下载的是2014版本的数据。
annotation里是json文件,打开后可以看到标注的内容。
用 LibreOffice Writer可以打开
这个图里可以看到一大堆的属性标签。
Jason保存的是一堆信息,相当于一个字典。
info指向一些基本信息: 包括时间,版本,贡献者,网址链接等。
image指向列表,内容是图像信息,列表中的每一个字典下存储一张图像信息:licese、coco_url、data_capture、flickr_url等。
重要的key:
file_name,指向字符串,是图像的名字;
height和width指向的该图像的高和宽;
id指向的是图像特有的label,数字不重复,可以看做是图像的本身信息。好像身份证上的数字一样
annotation指向一个list,包含多个字典,每个字典中包含一个物体分割的信息。第一个segmentation中指向两串数字矩阵,含义是像素级分割得到的物体边缘坐标。坐标成对出现;后面area是segmentation的面积;iscrowded是重叠信息; bbox是物体的label框;category_id指向的数字代表类别;最后的id是每个框的身份编号; 最后的categories这个key是指向每个类别的名称和编号。
coco与其他数据集的比较
coco数据集中一些标注图像的示例