json 注释_如何将注释从PASCAL VOC XML转换为COCO JSON

计算机视觉问题需要带注释的数据集。具体来说，对象检测问题要求框架内的项目以标注的注释为边界。

随着对象检测的发展，描述对象注释的不同文件格式已经出现。这造成了令人沮丧的情况，团队需要投入大量时间从一种注释格式转换为另一种注释格式，而不是专注于更高价值的任务，例如改进深度学习模型架构。

数据科学家花费时间在注释格式之间进行转换就像作者花费时间将Word文档转换为PDF一样。

最常见的注释格式来自挑战和聚集的数据集。随着机器学习研究人员利用这些数据集构建更好的模型，其注释的格式成为非官方的标准协议。

PASCAL VOC XML

PASCAL（模式分析，统计建模和计算学习）是由欧盟资助的卓越网络。从2005年到2012年，PASCAL举办了视觉对象挑战赛（VOC）。PASCAL每年发布对象检测数据集并报告基准。

PASCAL VOC注释以XML格式发布，其中每个图像都有一个随附的XML文件，该文件描述了框架中包含的边界框。例如，在用于血液细胞检测的BCCD数据集中，一个XML注释示例如下所示：

<annotation>

<folder>JPEGImages</folder>

<filename>BloodImage_00000.jpg</filename>

<path>/home/pi/detection_dataset/JPEGImages/BloodImage_00000.jpg</path>

<source>

<database>Unknown</database>

</source>

<size>

<width>640</width>

<height>480</height>

<depth>3</depth>

</size>

<segmented>0</segmented>

<object>

<name>WBC</name>

<pose>Unspecified</pose>

<truncated>0</truncated>

<difficult>0</difficult>

<bndbox>

<xmin>260</xmin>

<ymin>177</ymin>

<xmax>491</xmax>

<ymax>376</ymax>

</bndbox>

</object>

...

<object>

...

</object>

</annotation>

注意几个关键的事情：（1），其被注释被提及作为相对路径的图像文件（2）的图像的元数据被包括作为width，height和depth（3）的边界框的像素位置由顶部表示左角和底部右下角为xmin，ymin，xmax，ymax。

COCO JSON

上下文中的通用对象（COCO）数据集源自Microsoft 在2014年发表的一篇论文。数据集“包含91种对象的照片，这些照片很容易被4岁的孩子识别”。在328,000张图像中，总共有250万个带标签的实例。考虑到开源数据的数量和质量，COCO已成为用于测试和证明新模型中最新性能的标准数据集。

COCO注释以JSON格式发布。与PASCAL VOC中每个图像都有其自己的注释文件不同，COCO JSON要求使用一个JSON文件来描述一组图像集合。此外，COCO数据集支持多种类型的计算机视觉问题：关键点检测，对象检测，分段和创建标题。因此，手头任务有不同的格式。这篇文章着重于对象检测。用于对象检测的COCO JSON示例注释如下所示：

{

"info": {

"year": "2020",

"version": "1",

"description": "Exported from roboflow.ai",

"contributor": "",

"url": "https://app.roboflow.ai/datasets/bccd-single-image-example/1",

"date_created": "2020-01-30T23:05:21+00:00"

},

"licenses": [

{

"id": 1,

"url": "",

"name": "Unknown"

}

],

"categories": [

{

"id": 0,

"name": "cells",

"supercategory": "none"

},

{

"id": 1,

"name": "RBC",

"supercategory": "cells"

},

{

"id": 2,

"name": "WBC",

"supercategory": "cells"

}

],

"images": [

{

"id": 0,

"license": 1,

"file_name": "0bc08a33ac64b0bd958dd5e4fa8dbc43.jpg",

"height": 480,

"width": 640,

"date_captured": "2020-02-02T23:05:21+00:00"

}

],

"annotations": [

{

"id": 0,

"image_id": 0,

"category_id": 2,

"bbox": [

260,

177,

231,

199

],

"area": 45969,

"segmentation": [],

"iscrowd": 0

},

{

"id": 1,

"image_id": 0,

"category_id": 1,

"bbox": [

78,

336,

106,

99

],

"area": 10494,

"segmentation": [],

"iscrowd": 0

},

{

"id": 2,

"image_id": 0,

"category_id": 1,

"bbox": [

63,

237,

106,

99

],

"area": 10494,

"segmentation": [],

"iscrowd": 0

},

...

]

}

请注意此处的一些关键事项：（1）有关数据集本身及其许可证的信息（2）包括的所有标签均被定义为categories（3）边界框被定义为x，y左上角的坐标随后是边界框width和height。

将VOC XML转换为COCO JSON

流行的注释工具（如LabelImg）在Pascal VOC XML中提供注释。诸如ImageNet之类的某些模型要求Pascal VOC。其他（例如Mask-RCNN）要求使用COCO JSON注释的图像。

使用Python脚本

import os

import argparse

import json

import xml.etree.ElementTree as ET

from typing import Dict, List

from tqdm import tqdm

import re

def get_label2id(labels_path: str) -> Dict[str, int]:

"""id is 1 start"""

with open(labels_path, 'r') as f:

labels_str = f.read().split()

labels_ids = list(range(1, len(labels_str)+1))

return dict(zip(labels_str, labels_ids))

def get_annpaths(ann_dir_path: str = None,

ann_ids_path: str = None,

ext: str = '',

annpaths_list_path: str = None) -> List[str]:

# If use annotation paths list

if annpaths_list_path is not None:

with open(annpaths_list_path, 'r') as f:

ann_paths = f.read().split()

return ann_paths

# If use annotaion ids list

ext_with_dot = '.' + ext if ext != '' else ''

with open(ann_ids_path, 'r') as f:

ann_ids = f.read().split()

ann_paths = [os.path.join(ann_dir_path, aid+ext_with_dot) for aid in ann_ids]

return ann_paths

def get_image_info(annotation_root, extract_num_from_imgid=True):

path = annotation_root.findtext('path')

if path is None:

filename = annotation_root.findtext('filename')

else:

filename = os.path.basename(path)

img_name = os.path.basename(filename)

img_id = os.path.splitext(img_name)[0]

if extract_num_from_imgid and isinstance(img_id, str):

img_id = int(re.findall(r'd+', img_id)[0])

size = annotation_root.find('size')

width = int(size.findtext('width'))

height = int(size.findtext('height'))

image_info = {

'file_name': filename,

'height': height,

'width': width,

'id': img_id

}

return image_info

def get_coco_annotation_from_obj(obj, label2id):

label = obj.findtext('name')

assert label in label2id, f"Error: {label} is not in label2id !"

category_id = label2id[label]

bndbox = obj.find('bndbox')

xmin = int(bndbox.findtext('xmin')) - 1

ymin = int(bndbox.findtext('ymin')) - 1

xmax = int(bndbox.findtext('xmax'))

ymax = int(bndbox.findtext('ymax'))

assert xmax > xmin and ymax > ymin, f"Box size error !: (xmin, ymin, xmax, ymax): {xmin, ymin, xmax, ymax}"

o_width = xmax - xmin

o_height = ymax - ymin

ann = {

'area': o_width * o_height,

'iscrowd': 0,

'bbox': [xmin, ymin, o_width, o_height],

'category_id': category_id,

'ignore': 0,

'segmentation': [] # This script is not for segmentation

}

return ann

def convert_xmls_to_cocojson(annotation_paths: List[str],

label2id: Dict[str, int],

output_jsonpath: str,

extract_num_from_imgid: bool = True):

output_json_dict = {

"images": [],

"type": "instances",

"annotations": [],

"categories": []

}

bnd_id = 1 # START_BOUNDING_BOX_ID, TODO input as args ?

print('Start converting !')

for a_path in tqdm(annotation_paths):

# Read annotation xml

ann_tree = ET.parse(a_path)

ann_root = ann_tree.getroot()

img_info = get_image_info(annotation_root=ann_root,

extract_num_from_imgid=extract_num_from_imgid)

img_id = img_info['id']

output_json_dict['images'].append(img_info)

for obj in ann_root.findall('object'):

ann = get_coco_annotation_from_obj(obj=obj, label2id=label2id)

ann.update({'image_id': img_id, 'id': bnd_id})

output_json_dict['annotations'].append(ann)

bnd_id = bnd_id + 1

for label, label_id in label2id.items():

category_info = {'supercategory': 'none', 'id': label_id, 'name': label}

output_json_dict['categories'].append(category_info)

with open(output_jsonpath, 'w') as f:

output_json = json.dumps(output_json_dict)

f.write(output_json)

def main():

parser = argparse.ArgumentParser(

description='This script support converting voc format xmls to coco format json')

parser.add_argument('--ann_dir', type=str, default=None,

help='path to annotation files directory. It is not need when use --ann_paths_list')

parser.add_argument('--ann_ids', type=str, default=None,

help='path to annotation files ids list. It is not need when use --ann_paths_list')

parser.add_argument('--ann_paths_list', type=str, default=None,

help='path of annotation paths list. It is not need when use --ann_dir and --ann_ids')

parser.add_argument('--labels', type=str, default=None,

help='path to label list.')

parser.add_argument('--output', type=str, default='output.json', help='path to output json file')

parser.add_argument('--ext', type=str, default='', help='additional extension of annotation file')

args = parser.parse_args()

label2id = get_label2id(labels_path=args.labels)

ann_paths = get_annpaths(

ann_dir_path=args.ann_dir,

ann_ids_path=args.ann_ids,

ext=args.ext,

annpaths_list_path=args.ann_paths_list

)

convert_xmls_to_cocojson(

annotation_paths=ann_paths,

label2id=label2id,

output_jsonpath=args.output,

extract_num_from_imgid=True

)

if __name__ == '__main__':

main()

要在自己的示例上重用此脚本，文件结构必须与示例存储库的文件结构匹配！

最近确实被数据集的标注格式转换的问题搞得很头大，等我完全处理好了以后会针对keypoints（人体关键点）标注的问题做详细介绍。

最近在用远程服务器做实验，环境都是配置好了的，几乎不用担心环境的问题，直接就可以跑实验，有同样需求的朋友可以参考：智星云官网： http://www.ai-galaxy.cn/，淘宝店：https://shop36573300.taobao.com/公众号: 智星AI，

越来越觉得，本科没毕业之前觉得毕业好难，本科毕业工作之后又觉得工作好难，一边工作一边考研，又觉得考研更难，现在眼看还有一年研究生就要毕业了，我才觉得现在才更难。人生也许就是不断的升级打怪的过程，不要放弃，硬着头皮总是能挺过去的。九层之台，起于累土。PEACE。

参考文献：

http://cocodataset.org/#home

https://gluon-cv.mxnet.io/build/examples_datasets/pascal_voc.html

https://blog.roboflow.ai/how-to-convert-annotations-from-voc-xml-to-coco-json/

http://www.ai-galaxy.cn/

https://shop36573300.taobao.com/