CrowdHuman密集行人数据集转换代码(可任意选择某些类别的框)

最新推荐文章于 2024-09-05 02:24:42 发布
最新推荐文章于 2024-09-05 02:24:42 发布
阅读量2.7k 收藏 30
点赞数 3
分类专栏： 目标检测 文章标签： xml processing
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzallen/article/details/106982177
版权

CrowdHuman密集行人数据集转换代码

转换顺序: (odgt--->voc--->coco)

1. odgt--->voc

from xml.dom import minidom
import cv2
import os
import json
from PIL import Image

roadlabels = "./Annotations/"
roadimages = "./Images/"
fpath = "annotation.odgt"

def load_func(fpath):
    assert os.path.exists(fpath)
    with open(fpath, 'r') as fid:
        lines = fid.readlines()
    records = [json.loads(line.strip('\n')) for line in lines]
    return records

bbox = load_func(fpath)
# bbox中的其中一行如下
# {'ID': '284193,faa9000f2678b5e',
# 'gtboxes': [{'tag': 'person', 'hbox': [123, 129, 63, 64], 'head_attr': {'ignore': 0, 'occ': 1, 'unsure': 0}, 'fbox': [61, 123, 191, 453], 'vbox': [62, 126, 154, 446], 'extra': {'box_id': 0, 'occ': 1}},
#             {'tag': 'person', 'hbox': [214, 97, 58, 74], 'head_attr': {'ignore': 0, 'occ': 1, 'unsure': 0}, 'fbox': [165, 95, 187, 494], 'vbox': [175, 95, 140, 487], 'extra': {'box_id': 1, 'occ': 1}},
#             {'tag': 'person', 'hbox': [318, 109, 58, 68], 'head_attr': {'ignore': 0, 'occ': 1, 'unsure': 0}, 'fbox': [236, 104, 195, 493], 'vbox': [260, 106, 170, 487], 'extra': {'box_id': 2, 'occ': 1}},
#             {'tag': 'person', 'hbox': [486, 119, 61, 74], 'head_attr': {'ignore': 0, 'occ': 0, 'unsure': 0}, 'fbox': [452, 110, 169, 508], 'vbox': [455, 113, 141, 501], 'extra': {'box_id': 3, 'occ': 1}},
#             {'tag': 'person', 'hbox': [559, 105, 53, 57], 'head_attr': {'ignore': 0, 'occ': 0, 'unsure': 0}, 'fbox': [520, 95, 163, 381], 'vbox': [553, 98, 70, 118], 'extra': {'box_id': 4, 'occ': 1}},
#             {'tag': 'person', 'hbox': [596, 40, 72, 83], 'head_attr': {'ignore': 0, 'occ': 0, 'unsure': 0}, 'fbox': [546, 39, 202, 594], 'vbox': [556, 39, 171, 588], 'extra': {'box_id': 5, 'occ': 1}},
#             {'tag': 'person', 'hbox': [731, 139, 69, 83], 'head_attr': {'ignore': 0, 'occ': 0, 'unsure': 0}, 'fbox': [661, 132, 183, 510], 'vbox': [661, 132, 183, 510], 'extra': {'box_id': 6, 'occ': 0}}]}

if not os.path.exists(roadlabels):
    os.makedirs(roadlabels)

for i0, item0 in enumerate(bbox):
    print(i0)
    # 建立i0的xml tree
    ID = item0['ID']  # 得到当前图片的名字
    imagename = roadimages + ID + '.jpg'  # 当前图片的完整路径
    savexml = roadlabels + ID + '.xml'  # 生成的.xml注释的名字

    # 获得图片的长宽
    # img = Image.open(imagename)
    # img_width = img.size[0]
    # img_height = img.size[1]

    gtboxes = item0['gtboxes']
    img_name = ID
    floder = 'CrowdHuman'
    print(imagename)
    im = cv2.imread(imagename)
    w = im.shape[1]
    h = im.shape[0]
    d = im.shape[2]

    doc = minidom.Document()  # 创建DOM树对象
    annotation = doc.createElement('annotation')  # 创建子节点
    doc.appendChild(annotation)  # annotation作为doc树的子节点

    folder = doc.createElement('folder')
    folder.appendChild(doc.createTextNode(floder))  # 文本节点作为floder的子节点
    annotation.appendChild(folder)  # folder作为annotation的子节点

    filename = doc.createElement('filename')
    filename.appendChild(doc.createTextNode(img_name + '.jpg'))
    annotation.appendChild(filename)

    # filename = doc.createElement('path')
    # filename.appendChild(doc.createTextNode('D:/BaiduNetdiskDownload/CrowdHuman_train/Images'))
    # annotation.appendChild(filename)

    source = doc.createElement('source')
    database = doc.createElement('database')
    database.appendChild(doc.createTextNode("Unknown"))
    source.appendChild(database)
    # annotation2 = doc.createElement('annotation')
    # annotation2.appendChild(doc.createTextNode("ICDAR POD2017"))
    # source.appendChild(annotation2)
    # image = doc.createElement('image')
    # image.appendChild(doc.createTextNode("image"))
    # source.appendChild(image)
    # flickrid = doc.createElement('flickrid')
    # flickrid.appendChild(doc.createTextNode("NULL"))
    # source.appendChild(flickrid)
    annotation.appendChild(source)

    # owner = doc.createElement('owner')
    # flickrid = doc.createElement('flickrid')
    # flickrid.appendChild(doc.createTextNode("NULL"))
    # owner.appendChild(flickrid)
    # na = doc.createElement('name')
    # na.appendChild(doc.createTextNode("cxm"))
    # owner.appendChild(na)
    # annotation.appendChild(owner)

    size = doc.createElement('size')
    width = doc.createElement('width')
    width.appendChild(doc.createTextNode("%d" % w))
    size.appendChild(width)
    height = doc.createElement('height')
    height.appendChild(doc.createTextNode("%d" % h))
    size.appendChild(height)
    depth = doc.createElement('depth')
    depth.appendChild(doc.createTextNode("%d" % d))
    size.appendChild(depth)
    annotation.appendChild(size)

    segmented = doc.createElement('segmented')
    segmented.appendChild(doc.createTextNode("0"))
    annotation.appendChild(segmented)

    # 下面是从odgt中提取三种类型的框并转为voc格式的xml的代码
    # 不需要的box种类整段注释即可
    for i1, item1 in enumerate(gtboxes):
        """
        # 提取可见框(visible box)的代码
        boxs = [int(a) for a in item1['vbox']]
        minx = str(boxs[0])
        miny = str(boxs[1])
        maxx = str(boxs[2] + boxs[0])
        maxy = str(boxs[3] + boxs[1])
        # print(box)
        object = doc.createElement('object')
        nm = doc.createElement('name')
        nm.appendChild(doc.createTextNode('vbox'))
        object.appendChild(nm)
        pose = doc.createElement('pose')
        pose.appendChild(doc.createTextNode("Unspecified"))
        object.appendChild(pose)
        truncated = doc.createElement('truncated')
        truncated.appendChild(doc.createTextNode("1"))
        object.appendChild(truncated)
        difficult = doc.createElement('difficult')
        difficult.appendChild(doc.createTextNode("0"))
        object.appendChild(difficult)
        bndbox = doc.createElement('bndbox')
        xmin = doc.createElement('xmin')
        xmin.appendChild(doc.createTextNode(minx))
        bndbox.appendChild(xmin)
        ymin = doc.createElement('ymin')
        ymin.appendChild(doc.createTextNode(miny))
        bndbox.appendChild(ymin)
        xmax = doc.createElement('xmax')
        xmax.appendChild(doc.createTextNode(maxx))
        bndbox.appendChild(xmax)
        ymax = doc.createElement('ymax')
        ymax.appendChild(doc.createTextNode(maxy))
        bndbox.appendChild(ymax)
        object.appendChild(bndbox)
        annotation.appendChild(object)
        savefile = open(savexml, 'w')
        savefile.write(doc.toprettyxml())
        savefile.close()
        """

        # 提取头部框(head box)的代码
        boxs = [int(a) for a in item1['hbox']]
        minx = str(boxs[0])
        miny = str(boxs[1])
        maxx = str(boxs[2] + boxs[0])
        maxy = str(boxs[3] + boxs[1])
        # print(box)
        object = doc.createElement('object')
        nm = doc.createElement('name')
        nm.appendChild(doc.createTextNode('hbox'))
        object.appendChild(nm)
        pose = doc.createElement('pose')
        pose.appendChild(doc.createTextNode("Unspecified"))
        object.appendChild(pose)
        truncated = doc.createElement('truncated')
        truncated.appendChild(doc.createTextNode("1"))
        object.appendChild(truncated)
        difficult = doc.createElement('difficult')
        difficult.appendChild(doc.createTextNode("0"))
        object.appendChild(difficult)
        bndbox = doc.createElement('bndbox')
        xmin = doc.createElement('xmin')
        xmin.appendChild(doc.createTextNode(minx))
        bndbox.appendChild(xmin)
        ymin = doc.createElement('ymin')
        ymin.appendChild(doc.createTextNode(miny))
        bndbox.appendChild(ymin)
        xmax = doc.createElement('xmax')
        xmax.appendChild(doc.createTextNode(maxx))
        bndbox.appendChild(xmax)
        ymax = doc.createElement('ymax')
        ymax.appendChild(doc.createTextNode(maxy))
        bndbox.appendChild(ymax)
        object.appendChild(bndbox)
        annotation.appendChild(object)
        savefile = open(savexml, 'w')
        savefile.write(doc.toprettyxml())
        savefile.close()


        # 提取全身框(full box)的标注
        boxs = [int(a) for a in item1['fbox']]
        # 左上点长宽--->左上右下
        minx = str(boxs[0])
        miny = str(boxs[1])
        maxx = str(boxs[2] + boxs[0])
        maxy = str(boxs[3] + boxs[1])
        # print(box)
        object = doc.createElement('object')
        nm = doc.createElement('name')
        nm.appendChild(doc.createTextNode('fbox'))  # 类名: fbox
        object.appendChild(nm)
        pose = doc.createElement('pose')
        pose.appendChild(doc.createTextNode("Unspecified"))
        object.appendChild(pose)
        truncated = doc.createElement('truncated')
        truncated.appendChild(doc.createTextNode("1"))
        object.appendChild(truncated)
        difficult = doc.createElement('difficult')
        difficult.appendChild(doc.createTextNode("0"))
        object.appendChild(difficult)
        bndbox = doc.createElement('bndbox')
        xmin = doc.createElement('xmin')
        xmin.appendChild(doc.createTextNode(minx))
        bndbox.appendChild(xmin)
        ymin = doc.createElement('ymin')
        ymin.appendChild(doc.createTextNode(miny))
        bndbox.appendChild(ymin)
        xmax = doc.createElement('xmax')
        xmax.appendChild(doc.createTextNode(maxx))
        bndbox.appendChild(xmax)
        ymax = doc.createElement('ymax')
        ymax.appendChild(doc.createTextNode(maxy))
        bndbox.appendChild(ymax)
        object.appendChild(bndbox)
        annotation.appendChild(object)
        savefile = open(savexml, 'w')
        savefile.write(doc.toprettyxml())
        savefile.close()

2. voc--->coco

#!/usr/bin/python

# pip install lxml

import sys
import os
import json
import xml.etree.ElementTree as ET

START_BOUNDING_BOX_ID = 1
# 根据之前转换好的xml格式的代码修改下面的类别字典
PRE_DEFINE_CATEGORIES = {"fbox": 1, "hbox": 2}
# If necessary, pre-define category and its id
#  PRE_DEFINE_CATEGORIES = {"aeroplane": 1, "bicycle": 2, "bird": 3, "boat": 4,
                            # "bottle":5, "bus": 6, "car": 7, "cat": 8, "chair": 9,
                            # "cow": 10, "diningtable": 11, "dog": 12, "horse": 13,
                            # "motorbike": 14, "person": 15, "pottedplant": 16,
                            # "sheep": 17, "sofa": 18, "train": 19, "tvmonitor": 20}

def get(root, name):
    vars = root.findall(name)
    return vars

def get_and_check(root, name, length):
    vars = root.findall(name)
    if len(vars) == 0:
        raise NotImplementedError('Can not find %s in %s.'%(name, root.tag))
    if length > 0 and len(vars) != length:
        raise NotImplementedError('The size of %s is supposed to be %d, but is %d.'%(name, length, len(vars)))
    if length == 1:
        vars = vars[0]
    return vars

def convert(xml_list, xml_dir, json_file):
    list_fp = xml_list
    json_dict = {"images": [], "type": "instances", "annotations": [],
                 "categories": []}
    categories = PRE_DEFINE_CATEGORIES
    bnd_id = START_BOUNDING_BOX_ID
    for img_id, line in enumerate(list_fp):
        line = line.strip()
        print("Processing %s" %(line))
        xml_f = os.path.join(xml_dir, line)
        tree = ET.parse(xml_f)
        root = tree.getroot()
        path = get(root, 'path')
        if len(path) == 1:
            filename = os.path.basename(path[0].text)
        elif len(path) == 0:
            filename = get_and_check(root, 'filename', 1).text
        else:
            raise NotImplementedError('%d paths found in %s'%(len(path), line))
        ## The filename must be a number
        image_id = img_id
        size = get_and_check(root, 'size', 1)
        width = int(get_and_check(size, 'width', 1).text)
        height = int(get_and_check(size, 'height', 1).text)
        image = {'file_name': filename, 'height': height, 'width': width,
                 'id':image_id}
        json_dict['images'].append(image)
        ## Cruuently we do not support segmentation
        #  segmented = get_and_check(root, 'segmented', 1).text
        #  assert segmented == '0'
        for obj in get(root, 'object'):
            category = get_and_check(obj, 'name', 1).text
            if category not in categories:
                new_id = len(categories)
                categories[category] = new_id
            category_id = categories[category]
            bndbox = get_and_check(obj, 'bndbox', 1)
            xmin = int(get_and_check(bndbox, 'xmin', 1).text) - 1
            ymin = int(get_and_check(bndbox, 'ymin', 1).text) - 1
            xmax = int(get_and_check(bndbox, 'xmax', 1).text)
            ymax = int(get_and_check(bndbox, 'ymax', 1).text)
            assert(xmax > xmin)
            assert(ymax > ymin)
            o_width = abs(xmax - xmin)
            o_height = abs(ymax - ymin)
            ann = {'area': o_width*o_height, 'iscrowd': 0, 'image_id':
                   image_id, 'bbox':[xmin, ymin, o_width, o_height],
                   'category_id': category_id, 'id': bnd_id, 'ignore': 0,
                   'segmentation': []}
            json_dict['annotations'].append(ann)
            bnd_id = bnd_id + 1

    for cate, cid in categories.items():
        cat = {'supercategory': 'none', 'id': cid, 'name': cate}
        json_dict['categories'].append(cat)
    json_fp = open(json_file, 'w')
    json_str = json.dumps(json_dict)
    json_fp.write(json_str)
    json_fp.close()


if __name__ == '__main__':
    xml_list = os.listdir('./Annotations')
    xml_dir = './Annotations'
    json_file = 'val.json'
    convert(xml_list, xml_dir, json_file)

参考文章: Pascal VOC数据格式转COCO数据格式脚本（Object Detection）

lzAllen
关注
专栏目录
【干货】CrowdHuman数据集标注格式odgt转COCO数据集标注格式json（附详细代码）
Activewaste
07-09 9989
注：本以为很难，详细的看了一下odgt文件的数据存放方式和json文件的数据存放方式后，发现其实就是个读文件写文件的操作。只要把它们之间的数据进行对上就好了。 COCO数据集标注格式详解----object instances CrowdHuman数据集格式——odgt文件格式 上面两篇博客是博主在写转换函数 crowdhuman2coco.py的时候，先去对它们的数据格式了解并整理了...
【干货】mmdetection使用coco格式的CrowdHuman数据集进行训练及测试（附调参过程）
热门推荐
Activewaste
07-10 1万+
注：从mmdetection使用coco数据集在faster rcnn训练和测试，到了解crowdhuman数据集标注格式，再到crowdhuman的标注格式转换成coco数据集标注格式，现在就到了最终目的了：训练转换后的Crowd Human数据集。 以下是博主这一过程中整理的记录： 【干货】用mmdetection，在COCO数据集上跑通faster R-CNN（测试、训练） COCO数据...
物体检测标注格式转换-crowdhuman2coco
儒雅的小Z.的博客
03-22 969
import os import json from PIL import Image def load_file(fpath):#fpath是具体的文件 ，作用：#str to list assert os.path.exists(fpath) #assert() raise-if-not with open(fpath,'r') as fid: lines...
第121期 CrowdHuman密集行人数据集
最新发布
weixin_36472718的博客
09-05 109
引言 亲爱的读者们，您是否在寻找某个特定的数据集，用于研究或项目实践？欢迎您在评论区留言，或者通过公众号私信告诉我，您想要的数据集的类型主题。小编会竭尽全力为您寻找，并在找到后第一时间与您分享。 一、背景 在人工智能与计算机视觉领域，人群场景下的目标检测一直是一个具有挑战性的任务。特别是在人群密集、遮挡严重、背景复杂的场景...
(转)CrowdHuman数据集标注格式odgt转COCO数据集标注格式json（附详细代码）
一路狂奔的猪的博客
08-25 2366
转自：https://blog.csdn.net/qq_41375609/article/details/95202218 import os import json from PIL import Image def load_file(fpath):#fpath是具体的文件 ，作用：#str to list assert os.path.exists(fpath) #assert...
paddle - crowdHuman数据集训练人体识别模型
fantasysolo的博客
07-27 1897
paddle paddle - crowdHuman数据集训练人体识别模型数据集annotation解析annotation json各项意义转换paddle yolo的数据格式输入哪些数据? 数据集annotation解析 使用paddle paddle yolo v3的模型，将这个数据集的json内容转换为xml格式。 annotation json各项意义 参考官网：http://www.crowdhuman.org/download.html 但说得并不明确，这里对照图片总结了一下： JSON{
CrowdHuman数据集转成VOC格式并训练模型
weixin_45404593的博客
06-02 2466
CrowdHuman数据集转成VOC格式并训练模型 1. 介绍 The CrowdHuman dataset is large, rich-annotated and contains high diversity. CrowdHuman contains 15000, 4370 and 5000 images for training, validation, and testing, respectively. There are a total of 470K human instances f
YOLOv7密集行人检测+WiderPerson权重+数据集
03-24
1、WiderPerson数据集是比较拥挤场景的行人检测基准数据集，yolov7训练好的WiderPerson行人检测模型，训练输入尺寸为640x640，附有txt格式和xml格式的WiderPerson数据集； 2、检测结果参考：...
行人检测+改进yolov5s引入CoT模块+SIOU损失函数+在Crowdhuman大数据集上进行训练得到的模型pt文件
01-16
为了增强行人检测的能力，在原yolov5s的backbone特征提取部分将C3模块替换为CoT模块，用于增强Transformer结构，提高目标检测的性能。通过引入CoT模块，可以使得特征提取网络能够更好地利用输入特征图中位置之间的上...
yolov5s+crowdhuman数据集训练得到的best.pt文件
01-17
crowdhuman数据集是一个专门用于行人检测的数据集，使用yolov5s对15000张图像进行训练了20个epochs，验证集包括4370张图片。该pt文件可以直接用来进行识别行人，包括身体部分和头部框。也可以在此文件的基础上进一步...
YOLOv5行人检测训练权重 +3000行人数据集 yolov5-6.0-person_detect.zip
05-21
2、场景：街道，公路行人检测，一万多数据训练得到，准确率达90%以上， 3、classes: person 4、并包含3000张多行人数据，标签格式为VOC和YOLO两种 5、检测结果和数据集参考：...
yolov4_crowdhuman:关于为 CrowdHuman 数据集训练 DarkNet YOLOv4 模型的教程
05-29
YOLOv4 CrowdHuman 教程 这是一个演示如何使用和训练YOLOv4人检测器的。 目录 设置 如果您打算在上训练模型，您可以跳过本节并直接跳到上。 否则，要在本地运行训练，您需要有一台具有不错 GPU 的 x86_64 PC。 例如，我主要使用台式 PC 测试此存储库中的代码： NVIDIA GeForce RTX 2080 Ti Ubuntu 18.04.5 LTS (x86_64) CUDA 10.2 cuDNN 8.0.1 此外，您应该在本地 PC 上正确安装 OpenCV（包括 python3“cv2”模块），因为数据准备代码和“darknet”都需要它。 准备训练数据 对于在本地 PC 上的训练，我使用“608x608”yolov4 模型作为示例。 请注意，我在本教程中只使用了 python3（python2 可能不起作用）。 请按照以下步骤准备“ Cr
多目标跟踪DeepSort
01-06
先引入多目标跟踪DeepSort的论文地址及代码链接（Python版）： 论文地址：https://arxiv.org/pdf/1703.07402.pdf 代码链接：https://github.com/nwojke/deep_sort SORT是一种实用的多目标跟踪算法，然而由于现实中目标运动多变且遮挡频繁，该算法的身份转换（Identity switches)次数较高。DEEPSORT整合外观信息使得身份转换的数量减少了45%。DEEPSORT属于传统的单假设跟踪算法，采用递归卡尔曼滤波和逐帧数据关联。所提方案为： （1）使用马氏距离和深度特征余弦距离两种度量 （2） 采用级联匹配，有限
PedestrianDetection-NohNMS:ACM MM 2020 论文“NOH-NMS”代码
05-29
NOH-NMS：通过附近物体的幻觉改善行人检测 在ACM MM 2020 上发布的的官方实现。 我们提出了附近物体幻觉器（NOH），该物体以高斯分布与NOH-NMS一起精确定位每个提议附近的物体，从而动态地简化了对可能包含其他物体的空间的抑制的可能性。 这项工作在获得了第一名。 此基于实现。 表现 模型 骨干 美联社 记起 先生 重物 更快的RCNN ResNet-50 85.0 87.5 44.5 NOH-NMS ResNet-50 88.8 92.6 43.7 准备数据集 从下载CrowdHuman数据集，然后将其移动到以下目录下： ./data/crowdhuman ├── annotations │   └── annotation_train.odgt │   └── annotation_val.odgt ├── images │ └──
crowdhuman数据集密集行人检测yolo直接用
12-16
crowdhuman数据集是一个密集行人检测的数据集，其中包含大量密集的人群场景。针对这样的数据集，我们可以直接使用基于深度学习的目标检测模型 YOLO（You Only Look Once）来进行行人检测。 YOLO是一种先进的实时...
对Crowdhuman数据集处理，根据生成的train.txt分离数据集
qq_44224801的博客
12-08 918
根据train.txt和test.txt分离数据集
CrowdHuman数据集介绍
myh12138的博客
06-11 8328
CrowdHuman数据集是旷世发布的用于行人检测的数据集，图片数据大多来自于google搜索。 CrowdHuman 数据集数据量比较大，训练集15000张，测试集5000张，验证集4370张。训练集和验证集中共有 470K 个实例，约每张图片包含23个人，同时存在各种各样的遮挡。每个人类实例都用头部边界框、人类可见区域边界框和人体全身边界框注释。 数据集可以在 http://www.crowdhuman.org/ 进行下载，其中测试数据集没有公开标注。 CrowdHuman测试 hbox：head b
【CrowdHuman】《CrowdHuman：A Benchmark for Detecting Human in a Crowd》
bryant_meng
04-04 1281
arXiv-2018。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值