coco数据集格式介绍

本文总结：

本文首先简单介绍了coco数据集的整体构成，之后重点介绍了标注类型为object detection的所有字段的含义。

前言

COCO通过大量使用Amazon Mechanical Turk来收集数据。COCO数据集现在有5种标注类型：object detection, keypoint detection, stuff segmentation, panoptic segmentation，以及image captioning，使用json文件存储，一个json文件包括info、licenses、images、以及annotations四个基本类型，其中info表示test/val/train所有实例的整体信息，如创建年份、版本等等，而licenses、images、annotations都是包含多个对应实例的数组。

1.	{  
2.	"info":                 info,   
3.	"images":               [image],   
4.	"annotations":          [annotation],   
5.	"licenses":             [license],  
6.	}  

info、licenses、images类型介绍

5种标注类型（object detection, keypoint detection, stuff segmentation, panoptic segmentation）共享info、licenses、images基本类型，结构如下所示：

1.	info{  
2.	"year":                 int,   
3.	"version":              str,  
4.	"description":          str,   
5.	"contributor":          str,   
6.	"url":                  str,  
7.	"date_created":         datetime,  
8.	}  
9.	  
10.	image{  
11.	"id":                   int,  
12.	"width":                int,   
13.	"height":               int,   
14.	"file_name":            str,   
15.	"license":              int,   
16.	"flickr_url":           str,   
17.	"coco_url":             str,   
18.	"date_captured":        datetime,  
19.	}  
20.	  
21.	license{  
22.	"id":                   int,  
23.	"name":                 str,   
24.	"url":                  str,  
25.	}  

其中“flickr_url”字段是flickr是一个存放图片的网站，指的是图片在这个网站上的网址，这个字段可以不写。而“coco_url”也表示图片地址，可以是http格式的，也可以使用“file://”+绝对文件夹目录的格式，如： “file:///ldap_shared/coco/train2017/1_toy001040.PNG”

annotations类型介绍

前面提到info、images、license这三个基本类型是共享的，而annotations类型对于5种标注类型呈现多态，下面只介绍在object detection标注类型中annotations的情况（如下所示），下面将详细展示annotation中的每个字段的含义。

1.	annotation{  
2.	"id":                   int,   
3.	"image_id":             int,   
4.	"category_id":          int,   
5.	"segmentation":         RLE or [polygon],   
6.	"area":                 float,   
7.	"bbox":                 [x,y,width,height],   
8.	"iscrowd":              0 or 1,  
9.	}  
10.	  
11.	categories[{  
12.	"id":                   int,   
13.	"name":                 str,   
14.	"supercategory":        str,  
15.	}]  

id字段

所有的图片上有多少对象就有多少对应的annotation，id代表annotation id，每张图片上每个对象都对应一个annotation id，image_id代表存在这个对象的图片id，因为一张图片可能有多个对象，所以存在一张图片对应多个annotation id的情况，每个对象又有一个对应的类别，即category_id ，可能有点绕，给大家举个例子，下面分别是coco中某一张图片及其对应的标注文件：

1.	{"segmentation": [[376.45,226.52,416.36,215.73,437.93,210.34,439.01,185.53,445.48,165.03,429.3,145.62,418.52,119.73,414.2,116.49,407.73,127.28,404.49,130.52,405.57,121.89,412.04,117.57,410.97,108.94,419.6,74.43,419.6,70.11,423.91,38.83,451.96,20.49,484.31,22.65,497.26,22.65,515.6,46.38,537.17,77.66,542.56,93.84,556.58,103.55,556.58,126.2,542.56,131.6,531.78,180.13,540.4,206.02,588.94,239.46,640.0,268.58,640.0,480.0,293.39,477.84,311.73,442.25,330.07,450.88,336.54,333.3,353.8,263.19]],  
2.	"area": 97618.01770000001,  
3.	"iscrowd": 0,  
4.	"image_id": 6894,  
5.	"bbox": [293.39,20.49,346.61,459.51],  
6.	"category_id": 1,  
7.	"id": 493059},  
8.	{"segmentation": [[0.0,86.29,31.28,91.69,74.43,94.92,85.21,91.69,92.76,88.45,117.57,88.45,138.07,94.92,156.4,110.02,172.58,118.65,184.45,125.12,204.94,133.75,221.12,129.44,243.78,130.52,275.06,133.75,291.24,130.52,300.94,129.44,376.45,142.38,415.28,115.42,419.6,134.83,432.54,158.56,436.85,174.74,433.62,192.0,436.85,203.87,433.62,212.49,367.82,230.83,330.07,309.57,318.2,362.43,317.12,428.22,294.47,474.61,1.08,473.53],[537.17,195.24,634.25,204.94,638.56,210.34,637.48,264.27,583.55,234.07,545.8,211.42,533.93,199.55]],  
9.	"area": 131594.76034999997,  
10.	"iscrowd": 0,  
11.	"image_id": 6894,  
12.	"bbox": [0.0,86.29,638.56,388.32],  
13.	"category_id": 22,  
14.	"id": 580616},  

如coco中图片所示，该图片上有人和大象两个对象，因此在标注文件中也使用了两个annotation字段来分别表示这两个对象，这两个对象的image_id相同，category_id不同。

segmentation字段

segmentation格式有两种表示，polygon以及RLE。
polygon格式：

1.	{  
2.	    "segmentation": [[510.66,423.01,511.72,420.03,510.45......]],  
3.	    "area": 702.1057499999998,  
4.	    "iscrowd": 0,  
5.	    "image_id": 289343,  
6.	    "bbox": [473.07,395.93,38.65,28.67],  
7.	    "category_id": 18,  
8.	    "id": 1768  
9.	},  

polygon格式比较简单，这些数按照相邻的顺序两两组成一个点的xy坐标，如果有n个数（必定是偶数），那么就是n/2个点坐标。
RLE格式：

1.	{  
2.	    "segmentation":   
3.	    {  
4.	        u'counts': [272, 2, 4, 4, 4, 4, 2, 9, 1, 2, 16, 43, 143, 24......],   
5.	        u'size': [240, 320]  
6.	    }  
7.	    "area": 18419,  
8.	    "iscrowd": 1,  
9.	    "image_id": 448263,  
10.	    "bbox": [1,0,276,122],  
11.	    "category_id": 1,  
12.	    "id": 900100448263  
13.	}  

RLE全称（run-length encoding），称变动长度编码法（run coding），在控制论中对于二值图像而言是一种编码方法，对连续的黑、白像素数(游程)以不同的码字进行编码。举个简单的例子：对于一个很长的二值的序列，如00000111100111110……，我们直接存储整个二值序列很浪费空间，如果使用RLE编码方法的话，我们存储的是其连续的0/1的数目，对于这个二值序列用RLE可以表示为54251……。RLE所占字节的大小和边界上的像素数量是正相关的。RLE格式带来的好处就是当基于RLE去计算目标区域的面积以及两个目标之间的unoin和intersection时会非常有效率。上面的segmentation中的counts数组和size数组共同组成了这幅图片中的分割 mask。其中size是这幅图片的宽高。因为在这幅图像中，每一个像素点要么在目标区域中，要么在背景中，所以这副图像的分割结果是一个bool量：如果该像素在目标区域中为true那么在背景中就是False；如果该像素在目标区域中为1那么在背景中就是0。对于一个240x320的图片来说，一共有76800个像素点，根据每一个像素点在不在目标区域中，我们就有了76800个bit，使用RLE编码格式存储分割结构既可以直观地表示这些bit，也可以大大节省存储空间。

iscrowd字段

iscrowd=0的时候，表示这是一个单独的物体，轮廓用Polygon(多边形的点)表示，iscrowd=1的时候表示多个没有分开的物体，轮廓用RLE编码表示（只要是iscrowd=0那么segmentation就是polygon格式；只要iscrowd=1那么segmentation就是RLE格式）。比如说一张图片里面有三个人，一个人单独站一边，另外两个搂在一起（标注的时候距离太近分不开了），这个时候，单独的那个人的注释里面的iscrowd=0，segmentation用Polygon表示，而另外两个用放在同一个annotation的数组里面用一个segmentation的RLE编码形式表示（注意，单个的对象（iscrowd=0)可能需要多个polygon来表示，比如这个对象在图像中被挡住了）。

bbox字段

每个对象（不管是iscrowd=0还是iscrowd=1）都有一个矩形框bbox ，矩形框左上角的坐标和矩形框的长宽会以数组的形式提供，数组第一个元素就是左上角的横坐标值。

area字段

area是area of encoded masks，是标注区域的面积。如果是矩形框，那就是高乘宽；如果是polygon或者RLE，那就复杂点。

coco数据集目录结构

如下图所示，其中train2017、test2017、val2017文件夹中保存的是用于训练、测试、验证的图片，而annotations文件夹保存的是这些图片对应的标注信息，分别存在instance_test2017、instance_test2017、instance_val2017三个json文件中。