VOC(xml)标注格式转换为YOLOv5(txt)和COCO2017(json)格式

已于 2022-05-08 09:35:04 修改
阅读量6.1k 收藏 74
点赞数 10
分类专栏： 目标检测 深度学习 文章标签： 目标检测 深度学习
于 2022-03-11 23:16:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43799388/article/details/123436091
版权

文章目录

数据集介绍

本文所使用的数据集为三种水果数据集，下载链接为：https://download.csdn.net/download/weixin_43799388/84425688

  • 数据集文档结构如下：
|——-Fruit
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
  • 该数据使用精灵标注助手进行标注，并导出xml格式
  • 若数据集数量巨大，且命名不规范，要按规范批量修改文件名，建议使用菲菲更名宝贝软件进行批量更改文件名，使用方式如下：
    • 从官网下载并安装最新版本软件
    • 打开软件后，点击左上角添加一个文件或文件夹，将要修改的文件导入软件
    • 之后按照下图所示逐步进行修改，最后点击左上角开始更名，完成批量规范重命名操作

在这里插入图片描述

xml2txt

标注格式介绍

xml格式的标注信息中，box坐标信息是以xyxy格式标注的，也就是GT框的左上角坐标(xmin, ymin)和右下角坐标(xmax, ymax)

YOLOv5中使用的数据标注文件为.txt，GT框坐标信息是以xywh格式标注的，也就是GT框的归一化中心点坐标(x, y)和归一化宽高(width, height)，二者的区别去下图所示：

在这里插入图片描述

转换步骤

1、maketxt.py

  • 将原数据集划分为train、val和test三部分，其中train+val(组合成trainval部分)占总数据集90%，test部分占10%，train部分有占trainval部分的90%，因此，train: val: test = 8: 1: 1
  • 程序执行结果如下：
|——-Fruit
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
    |---ImageSets
		|---test.txt  # 存放测试集图片名称
		|---train.txt  # 存放训练集图片名称
		|---trainval.txt  # 存放训练验证集图片名称
		|---val.txt  # 存放验证集图片名称
  • Pytorch源码如下：
import os
import random

'''
对图片数据集进行随机分类
以8: 1: 1的比例分为训练数据集，验证数据集和测试数据集
运行后在ImageSets文件夹中会出现四个文件
'''
ROOT = '../datasets/Fruit/'
trainval_percent = 0.9
train_percent = 0.9
xmlfilepath = ROOT + 'Annotations'
txtsavepath = ROOT + 'ImageSets'
# 获取该路径下所有文件的名称，存放在list中
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open(ROOT + 'ImageSets/trainval.txt', 'w')
ftest = open(ROOT + 'ImageSets/test.txt', 'w')
ftrain = open(ROOT + 'ImageSets/train.txt', 'w')
fval = open(ROOT + 'ImageSets/val.txt', 'w')

for i in list:
    # 获取文件名称中.xml之前的序号
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

2、voc2txt.py

  • 将xml文件转化为txt文件，xml文件包含了对应的GT框以及图片长宽大小等信息，通过对其解析，并进行归一化最终读到txt文件中
  • 同时生成train、val和test数据集中图片的绝对路径，用于索引到图片位置
  • 程序执行结果如下：
|——-Fruit
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
    |---ImageSets
		|---test.txt  # 存放测试集图片名称
		|---train.txt  # 存放训练集图片名称
		|---trainval.txt  # 存放训练验证集图片名称
		|---val.txt  # 存放验证集图片名称
    |---labels
		|---001.txt
		|---002.txt
		... ...
		|---340.txt
    |---test.txt  # 存放测试集图片绝对路径
    |---train.txt  # 存放训练集图片绝对路径
    |---val.txt  # 存放验证集图片绝对路径
  • Pytorch源码如下：
import xml.etree.ElementTree as ET  # xml解析包
import os

sets = ['train', 'test', 'val']
classes = ['apple', 'banana', 'grape']

# 进行归一化操作
def convert(size, box):  # size:(原图w,原图h) , box:(xmin,xmax,ymin,ymax)
    dw = 1. / size[0]  # 1/w
    dh = 1. / size[1]  # 1/h
    x = (box[0] + box[1]) / 2.0  # 物体在图中的中心点x坐标
    y = (box[2] + box[3]) / 2.0  # 物体在图中的中心点y坐标
    w = box[1] - box[0]  # 物体实际像素宽度
    h = box[3] - box[2]  # 物体实际像素高度
    x = x * dw  # 物体中心点x的坐标比(相当于 x/原图w)
    w = w * dw  # 物体宽度的宽度比(相当于 w/原图w)
    y = y * dh  # 物体中心点y的坐标比(相当于 y/原图h)
    h = h * dh  # 物体宽度的宽度比(相当于 h/原图h)
    return (x, y, w, h)  # 返回 相对于原图的物体中心点的x坐标比,y坐标比,宽度比,高度比,取值范围[0-1]


# year ='2012', 对应图片的id（文件名）
def convert_annotation(root, image_id):
    '''
    将对应文件名的xml文件转化为label文件，xml文件包含了对应的bunding框以及图片长宽大小等信息，
    通过对其解析，然后进行归一化最终读到label文件中去，也就是说
    一张图片文件对应一个xml文件，然后通过解析和归一化，能够将对应的信息保存到唯一一个label文件中去
    labal文件中的格式: calss x y w h，同时，一张图片对应的类别有多个，所以对应的buinding的信息也有多个
    '''
    # 对应的通过year 找到相应的文件夹，并且打开相应image_id的xml文件，其对应bund文件
    in_file = open(root + 'Annotations/%s.xml' %
                   (image_id), encoding='utf-8')
    # 准备在对应的image_id 中写入对应的label，分别为
    # <object-class> <x> <y> <width> <height>
    out_file = open(root + 'labels/%s.txt' %
                    (image_id), 'w', encoding='utf-8')
    # 解析xml文件
    tree = ET.parse(in_file)
    # 获得对应的键值对
    root = tree.getroot()
    # 获得图片的尺寸大小
    size = root.find('size')
    # 如果xml内的标记为空，增加判断条件
    if size != None:
        # 获得宽
        w = int(size.find('width').text)
        # 获得高
        h = int(size.find('height').text)
        # 遍历目标obj
        for obj in root.iter('object'):
            # 获得difficult
            if obj.find('difficult'):
                difficult = int(obj.find('difficult').text)
            else:
                difficult = 0
            # 获得类别 =string 类型
            cls = obj.find('name').text
            # 如果类别不是对应在我们预定好的class文件中，或difficult==1则跳过
            if cls not in classes or int(difficult) == 1:
                continue
            # 通过类别名称找到id
            cls_id = classes.index(cls)
            # 找到bndbox 对象
            xmlbox = obj.find('bndbox')
            # 获取对应的bndbox的数组 = ['xmin','xmax','ymin','ymax']
            b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
                 float(xmlbox.find('ymax').text))
            print(image_id, cls, b)
            # 带入进行归一化操作
            # w = 宽, h = 高， b= bndbox的数组 = ['xmin','xmax','ymin','ymax']
            bb = convert((w, h), b)
            # bb 对应的是归一化后的(x,y,w,h)
            # 生成 calss x y w h 在label文件中
            out_file.write(str(cls_id) + " " +
                           " ".join([str(a) for a in bb]) + '\n')


if __name__ == '__main__':
    ROOT = '../datasets/Fruit/'
    for image_set in sets:
        '''
        对所有的文件数据集进行遍历
        做了两个工作:
        1．将所有图片文件都遍历一遍，并且将其所有的全路径都写在对应的txt文件中去 方便定位
        2．同时对所有的图片文件进行解析和转化，将其对应的 bundingbox 以及类别的信息全部解析写到 label 文件中去
        最后再通过直接读取文件 就能找到对应的 label 信息
        '''
        # 先找labels文件夹如果不存在则创建
        if not os.path.exists(ROOT + 'labels/'):
            os.makedirs(ROOT + 'labels/')
        # 读取在 ImageSets 中的train、test..等文件的内容
        # 包含对应的文件名称
        image_ids = open(ROOT + 'ImageSets/%s.txt' %
                         (image_set)).read().strip().split()
        # 打开对应的.txt 文件对其进行写入准备
        list_file = open(ROOT + '%s.txt' % (image_set), 'w')
        # 将对应的文件_id以及全路径写进去并换行
        for image_id in image_ids:
            list_file.write(ROOT + 'images/%s.jpg\n' % (image_id))
            # 开始解析xml文件的标注格式
            convert_annotation(root=ROOT, image_id=image_id)
        # 关闭文件
        list_file.close()

xml2json

标注格式介绍

COCO全称是Common Objects in COntext，是微软团队提供的一个可以用来进行图像识别的数据集。MS COCO数据集中的图像分为训练、验证和测试集，总共有80个类别；COCO数据集现在有3种标注类型：object instances（目标实例）, object keypoints（目标上的关键点）, 和image captions（看图说话），使用json文件存储；本文以目标实例检测为例，官方下载地址为：http://images.cocodataset.org/annotations/annotations_trainval2017.zip

COCO目标检测实例的标注信息本身是一个大的字典，其中又包含5个字段信息：info, licenses, images, annotations，categories，每个字段中又分为多个字典存储各自的信息，在实际中，‘info’ 和‘license’一般用不上，我们可以把它置空；详细介绍可以参考这篇博客COCO数据集标注格式及意义

需要注意的是，COCO目标检测实例的标注信息中，box坐标信息是以xywh格式标注的，是GT框的左上角坐标(xmin, ymin)和宽高(width, height)，和YOLO格式的标注信息有所不同。

转换步骤

1、maketxt.py

  • 同xml2txt中的maketxt.py
  • 这里只划分train和val数据集
|——-Fruit
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
    |---ImageSets
		|---train.txt  # 存放训练集图片名称
		|---val.txt  # 存放验证集图片名称

2、split_datasets.py

  • 用于将train和val数据集放置在各自的文件夹中
|——-Fruit
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
    |---ImageSets
		|---train.txt  # 存放训练集图片名称
		|---val.txt  # 存放验证集图片名称
	|---train
		|---001.jpg
		|---002.jpg
		... ...
	|---val
		|---046.jpg
		|---049.jpg
		... ...
  • Pytorch源码如下：
"""
用于数据集的划分，将全部图片分为train和val，并拷贝到不同文件夹下
"""
import shutil

if __name__ == '__main__':
    sets = ['train', 'val']  # 划分数据集的类型
    ROOT = './data/Fruit/'  # 数据集路径
    IMG_ROOT = ROOT + 'images'  # 图片路径
    # 开始遍历数据集 并进行划分拷贝
    for img_set in sets:
        NEW_ROOT = ROOT + img_set  # 获取要目标文件夹路径
        # 读取在 ImageSets 中的train.txt和val.txt 获取图片名称
        img_ids = open(ROOT + 'ImageSets/%s.txt' %
                       (img_set)).read().strip().split()
        # 获取图片原路径和要拷贝的路径 进行图片拷贝
        for img_id in img_ids:
            src_root = IMG_ROOT + '/' + img_id + '.jpg'
            dst_root = NEW_ROOT + '/' + img_id + '.jpg'
            shutil.copy(src=src_root, dst=dst_root)

3、voc2coco.py

  • 生成train和val的标注文件，也就是json格式的标注文件，存放在annotations文件夹中
|——-Fruit
	|---annotations
		|---Fruit_train.json
		|---Fruit_val.json
	|---Annotations
		|---001.xml
		|---002.xml
		... ...
		|---340.xml
	|---images
		|---001.jpg
		|---002.jpg
		... ...
		|---340.jpg
    |---ImageSets
		|---train.txt  # 存放训练集图片名称
		|---val.txt  # 存放验证集图片名称
	|---train
		|---001.jpg
		|---002.jpg
		... ...
	|---val
		|---046.jpg
		|---049.jpg
		... ...
  • Pytorch源码如下：
import shutil
import cv2
from tqdm import tqdm
import sys, os, json, glob
import xml.etree.ElementTree as ET

category_list = ['apple', 'banana', 'grape']


def convert_to_cocodetection(dir, datasets_name, output_dir):
    """
    input:
        dir:the path to DIOR dataset
        output_dir:the path write the coco form json file
    """
    annotations_path = os.path.join(dir, "Annotations_xml")
    namelist_path = os.path.join(dir, "ImageSets")
    train_images_path = os.path.join(dir, "train")
    val_images_path = os.path.join(dir, "val")
    id_num = 0

    # 将数据集的类别信息 存放到字典中
    label_ids = {name: i + 1 for i, name in enumerate(category_list)}
    categories = []
    for k, v in label_ids.items():
        categories.append({"name": k, "id": v})

    # 读取xml文件并转化为json
    for mode in ["train", "val"]:
        images = []
        annotations = []
        print(f"start loading {mode} data...")
        if mode == "train":
            f = open(namelist_path + "/" + "train.txt", "r")
            images_path = train_images_path
        else:
            f = open(namelist_path + "/" + "val.txt", "r")
            images_path = val_images_path

        # 依次读取训练集或测试集中的每一张图片的名字
        for name in tqdm(f.readlines()):
            # 图片基本信息处理
            image = {}
            name = name.replace("\n", "")
            image_name = name + ".jpg"
            annotation_name = name + ".xml"
            # 获取图像的height和width
            height, width = cv2.imread(images_path + "/" + image_name).shape[:2]
            # 向image字典中添加信息
            image["file_name"] = image_name
            image["height"] = height
            image["width"] = width
            image["id"] = name
            images.append(image)

            # xml标注文件信息解析
            tree = ET.parse(annotations_path + "/" + annotation_name)
            root = tree.getroot()
            for obj in root.iter('object'):
                annotation = {}
                # 获得类别 =string 类型
                category = obj.find('name').text
                # 如果类别不是对应在我们预定好的class文件中则跳过
                if category not in category_list:
                    continue
                # 找到bndbox 对象
                xmlbox = obj.find('bndbox')
                # 获取对应的bndbox的数组 = ['xmin','xmax','ymin','ymax']
                bbox = (float(xmlbox.find('xmin').text), float(xmlbox.find('ymin').text),
                        float(xmlbox.find('xmax').text), float(xmlbox.find('ymax').text))
                # 整数化
                bbox = [int(i) for i in bbox]
                # 将voc的xyxy坐标格式，转换为coco的xywh格式
                bbox = xyxy_to_xywh(bbox)
                # 将xml中的信息存入annotations
                annotation["image_id"] = name
                annotation["bbox"] = bbox
                annotation["category_id"] = category_list.index(category)
                annotation["id"] = id_num
                annotation["iscrowd"] = 0
                annotation["segmentation"] = []
                annotation["area"] = bbox[2] * bbox[3]
                id_num += 1
                annotations.append(annotation)

        # 汇总所有信息，保存在字典中
        dataset_dict = {}
        dataset_dict["images"] = images
        dataset_dict["annotations"] = annotations
        dataset_dict["categories"] = categories
        json_str = json.dumps(dataset_dict)
        save_file = f'{output_dir}/{datasets_name}_{mode}.json'
        with open(save_file, 'w') as json_file:
            json_file.write(json_str)
    print("json file write done...")


def xyxy_to_xywh(boxes):
    width = boxes[2] - boxes[0]
    height = boxes[3] - boxes[1]
    return [boxes[0], boxes[1], width, height]


if __name__ == '__main__':
    # 数据集的路径
    DATASET_ROOT = './data/Fruit'
    # 数据集名称
    DATASET_NAME = 'Fruit'
    # 输出coco格式的存放路径
    JSON_ROOT = './data/Fruit/annotations'
    # 递归删除之前存放帧图片的文件夹，并新建一个
    try:
        shutil.rmtree(JSON_ROOT)
    except OSError:
        pass
    os.mkdir(JSON_ROOT)
    convert_to_cocodetection(dir=DATASET_ROOT, datasets_name=DATASET_NAME, output_dir=JSON_ROOT)

References

目标检测实战保姆级教学！（二）：Yolov5实时目标检测

YOLOv5(PyTorch)目标检测：原理与源码解析

COCO数据集标注格式及意义

嗜睡的篠龙
关注
  • 10
    点赞
  • 踩
  • 74
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
【实例分割项目】之yolov8-seg（一）用半自动标注工具生成自己的数据集并训练和使用
ailaier的专栏
01-17 4045
用半自动工具制作yolov8实例分割数据集，并训练和验证。
voc中xml格式转coco数据json格式
06-08
标题“voc中xml格式转coco数据json格式”涉及到的知识点主要包括两个方面：VOC XML格式的理解和COCO JSON格式的理解，以及两者之间的转换过程。 首先，VOC XML格式的数据结构通常包括以下元素： 1. `<annotation>`...
python实现VOC格式(xml)标签批量转换为yolo格式(txt)标签
DeepLearning_的博客
10-31 2329
我们常见的目标检测算法使用的数据集对应标签格式多为四种，分别是voc格式、yolo格式、json格式、coco格式。
将xml文件转yolov5训练数据txt标签文件
m0_46935103的博客
08-02 3650
使用正则表达式提取xml文件的关键内容，经算法处理，转化为YOLO训练需要的txt格式数据，完整代码已展示，另提供代码下载
XML标签转yolo的txt格式标签代码
最新发布
weixin_60535956的博客
05-28 262
实现xml到txt格式数据文件的转换
100种目标检测数据集【voc格式yolo格式json格式coco格式】+YOLO系列算法源码及训练好的模型
热门推荐
DeepLearning_的博客
10-12 1万+
本文介绍并分享了应用于各行业、各领域非常有用的目标检测数据集（感谢您的关注+三连，数据集持续更新中…），其中绝大部分数据集作者已应用于各种实际落地项目，数据集整体质量好，标注精确，数据的多样性充分， 训练模型拟合较好，具有较高的研究和使用价值，各数据集都有下载链接及作者训练好的模型+源码下载链接，同时也有对应的检测效果视频，请放心下载~【实际项目应用】：阳光厨房、明厨亮灶智能监控方案 【数据集说明】：老鼠检测数据集已更新到2018张，图片包含有白天和黑夜老鼠出没照片，标签包含voc（xml）和yolo格式
xml格式标签转yolo格式的txt格式标签
sazass的博客
10-13 1595
yolo，xml标签转txt
voc2coco：将VOC格式的XML转换为COCO格式的json
02-06
voc2coco 这是用于将VOC格式的XML转换为COCO格式的json（例如coco_eval.json）的脚本。 为什么我们需要将VOC xmls转换为COCO格式json？ 我们可以使用COCO API，这非常有用（例如，计算mAP）。 如何使用 1.制作labels.txt 如果需要制作将标签转换为ID的字典，则为labels.txt。 样本labels.txt Label1 Label2 ... 2.运行脚本 2.1用法1（使用ID列表） $ python voc2coco.py \ --ann_dir /path/to/annotation/dir \
将labelme标注的json文件（coco格式）转化为voc需要的xml格式
11-19
将labelme标注的json文件（coco格式）转化为voc需要的xml格式
基于YOLOv5的智能人脸数据标注工具源码，实现人脸数据标注自动化，可导出PASCAL VOC XML、MS COCO JSON
01-06
此外，该工具支持多种标注格式的导出，包括PASCAL VOC XML、MS COCO JSON和YOLO TXT。这些格式都是计算机视觉社区广泛接受的标准，便于与其他工具和平台集成。PASCAL VOC XML格式提供了一种结构化的数据表示，包含了...
基于YOLOv5的智能人脸数据集标注工具.zip
06-07
可自定义人脸检测模型、可导出多种格式标签，包括PASCAL VOC XML、MS COCO JSON、YOLO TXT教程 webcam实时标注 # a键捕获视频帧，q键退出 python face_labeling.py 图片标注（包括批量图片标注） python face_...
labelme(.json)2coco和coco(.json)2xml.zip
05-17
本文将详细讲解如何将`LabelMe`的`.json`文件转换为`COCO`的`.json`格式，以及反过来将`COCO`的`.json`转换为`.xml`格式，这对于在不同平台或模型间共享数据非常有用。 1. `LabelMe(.json)2COCO(.json)` `LabelMe`...
【Yolov5】2.下载labelme给图片作标签并生成json文件
若丶尘的博客
08-02 775
Yolov5:下载labelme给图片作标签并生成json文件
数据集XML标签转YOLO标签
aosiweixin的博客
05-11 2754
XML数据集标签转YOLO数据集txt格式标签代码
将用LabelImg标注得到的VOC格式数据集标签(xml文件)转换成COCO格式(json文件)
Blateyang的博客
06-11 1万+
写在前面的话： 制作数据集和处理数据看似是体力活，但对于机器学习和深度学习应用而言是非常重要的，千万不能掉以轻心，要认真对待，及时检查。如果数据有问题或者没处理好，再好的模型也无济于事。 自从Facebook开源了Detectron目标检测框架后，很多原先用VOC格式数据集（指标注文件）训练目标检测模型的人需要将VOC格式的xml标注文件转换成COCO格式的json标注文件，但Detect...
目标检测VOC2COCO！把xml格式的数据转换为MSCOCO格式数据集，并按自定义比例划分数据集
Lemon__Tree__的博客
05-24 674
目标检测VOC2COCO！把xml格式的数据转换为MSCOCO格式数据集，并按自定义比例划分数据集。
记录一下yolo v5从零训练COCO数据集的情况
RayChiu757374816的博客
04-25 1万+
基于COCO数据集从零训练yolov5
【模式识别4】YOLO目标检测数据集xml格式转txt格式
weixin_43387635的博客
04-22 2454
LabelImg标注完会生成“classes.txt”，如下为真实类别名称，从上到下类别代号分别为0、1、2、…因此，需要建立字典映射，将classes.txt的真实类别名称（如下左列）分别映射到代号0、1、2…每行表示（类别，中心x相对坐标，中心y相对坐标，相对宽度、相对高度）修改为自己的xml文件夹路径以及保存的txt文件夹路径即可。
coco格式json 转voc格式xml
06-25
综上所述，将COCO格式的JSON文件转换为VOC格式的XML需要按照一定的规则解析和生成文件，实现上需要注意一些细节。 ### 回答2： 要将COCO格式的JSON文件转换为VOC格式的XML文件，需要进行以下步骤： 1.准备好COCO...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

嗜睡的篠龙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值