数据集的常见结构及其生成对应JSON文件的脚本

于 2024-08-10 14:37:10 发布
阅读量2.3k 收藏 30
点赞数 23
文章标签： json 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80416780/article/details/140865979
版权

      1.   按类别组织 

常见的结构，适用于分类任务。

    

dataset/

├── class1/

│   ├── image1.jpg

│   ├── image2.jpg

├── class2/

│   ├── image1.jpg

│   ├── image2.jpg

    

import os
import json

def create_class_index_json(data_dir, json_file):
    class_dict = {}
    class_index = 0

    # 遍历数据集目录
    for class_name in os.listdir(data_dir):
        class_path = os.path.join(data_dir, class_name)

        # 确保是目录
        if os.path.isdir(class_path):
            class_dict[str(class_index)] = class_name  # 使用索引作为键，类别名称作为值
            class_index += 1

    # 将字典写入JSON文件
    with open(json_file, 'w') as f:
        json.dump(class_dict, f, indent=4)

    print(f"Class index JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/dataset'  # 数据集路径
json_output_file = 'class_index.json'      # 输出的JSON文件名
create_class_index_json(data_directory, json_output_file)

         2.   按训练、验证和测试集组织 

适用于需要划分数据集以进行验证和测试的情况

dataset/

├── train/

│   ├── class1/

│   ├── class2/

├── val/

│   ├── class1/

│   ├── class2/

├── test/

│   ├── class1/

│   ├── class2/

    

def create_train_val_test_json(data_dir, json_file):
    dataset_dict = {}

    for split in ['train', 'val', 'test']:
        split_path = os.path.join(data_dir, split)
        if os.path.isdir(split_path):
            classes = {}
            class_index = 0
            
            for class_name in os.listdir(split_path):
                class_path = os.path.join(split_path, class_name)

                if os.path.isdir(class_path):
                    classes[str(class_index)] = class_name
                    class_index += 1
            
            dataset_dict[split] = classes

    with open(json_file, 'w') as f:
        json.dump(dataset_dict, f, indent=4)

    print(f"Train/Val/Test JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/dataset'  # 数据集路径
json_output_file = 'train_val_test.json'   # 输出的JSON文件名
create_train_val_test_json(data_directory, json_output_file)

         3.   单一目录，文件名包含标签 

所有图像都在同一个目录中，文件名包含类别信息。

    

dataset/

├── image_class1_01.jpg

├── image_class1_02.jpg

├── image_class2_01.jpg

├── image_class2_02.jpg

    

def create_filenames_with_labels_json(data_dir, json_file):
    file_dict = {}

    for filename in os.listdir(data_dir):
        if filename.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
            # 提取类别信息（假设格式为 image_class1_01.jpg）
            parts = filename.split('_')
            if len(parts) >= 2:
                class_label = "_".join(parts[:-2])  # 组合成类别
                file_dict[filename] = class_label

    with open(json_file, 'w') as f:
        json.dump(file_dict, f, indent=4)

    print(f"Filenames with labels JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/dataset'  # 数据集路径
json_output_file = 'filenames_with_labels.json'   # 输出的JSON文件名
create_filenames_with_labels_json(data_directory, json_output_file)

         4.   多级目录 

可以根据更细粒度的信息组织文件，如子类或属性。

    

dataset/

├── class1/

│   ├── subclass1/

│   │   ├── image1.jpg

│   │   ├── image2.jpg

│   ├── subclass2/

│   │   ├── image1.jpg

│   │   ├── image2.jpg

├── class2/

│   ├── subclass1/

│   ├── subclass2/

    

def create_multilevel_json(data_dir, json_file):
    dataset_dict = {}

    for class_name in os.listdir(data_dir):
        class_path = os.path.join(data_dir, class_name)

        if os.path.isdir(class_path):
            subclasses = {}
            for subclass_name in os.listdir(class_path):
                subclass_path = os.path.join(class_path, subclass_name)
                if os.path.isdir(subclass_path):
                    subclasses[subclass_name] = os.listdir(subclass_path)  # 列出子类所有文件
            dataset_dict[class_name] = subclasses

    with open(json_file, 'w') as f:
        json.dump(dataset_dict, f, indent=4)

    print(f"Multilevel JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/dataset'  # 数据集路径
json_output_file = 'multilevel.json'        # 输出的JSON文件名
create_multilevel_json(data_directory, json_output_file)

         5.   图像和标签分开 

图像文件和标签文件分别存储，标签可以是单独的文本文件或CSV文件。

    

dataset/

├── images/

│   ├── image1.jpg

│   ├── image2.jpg

├── labels/

│   ├── image1.txt   或 .csv

│   ├── image2.txt  或 .csv

    

def create_image_label_json(images_dir, labels_dir, json_file):
    dataset_dict = {}

    for image_filename in os.listdir(images_dir):
        if image_filename.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
            label_filename = os.path.splitext(image_filename)[0] + '.txt'  # 假设标签文件为文本文件
            dataset_dict[image_filename] = {
                'label_file': label_filename
            }

    with open(json_file, 'w') as f:
        json.dump(dataset_dict, f, indent=4)

    print(f"Image-Label JSON file created at: {json_file}")

# 使用示例
images_directory = '/path/to/your/images'  # 图像文件夹路径
labels_directory = '/path/to/your/labels'   # 标签文件夹路径
json_output_file = 'image_label.json'        # 输出的JSON文件名
create_image_label_json(images_directory, labels_directory, json_output_file)

         6.   多模态数据 

同时包含图像、文本和其他类型的数据。

    

dataset/

├── images/

│   ├── image1.jpg

│   ├── image2.jpg

├── texts/

│   ├── image1.txt

│   ├── image2.txt

├── labels/

│   ├── image1_label.txt

│   ├── image2_label.txt

    

def create_video_class_index_json(data_dir, json_file):
    video_dict = {}
    class_index = 0

    for class_name in os.listdir(data_dir):
        class_path = os.path.join(data_dir, class_name)

        if os.path.isdir(class_path):
            video_files = [f for f in os.listdir(class_path) if f.endswith(('.mp4', '.avi'))]  # 根据需要添加其他格式
            video_dict[str(class_index)] = {
                'class_name': class_name,
                'videos': video_files
            }
            class_index += 1

    with open(json_file, 'w') as f:
        json.dump(video_dict, f, indent=4)

    print(f"Video class index JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/video_dataset'  # 视频数据集路径
json_output_file = 'video_class_index.json'      # 输出的JSON文件名
create_video_class_index_json(data_directory, json_output_file)

         7.   视频数据集 

对视频数据的组织，通常按类别或视频编号。

    

dataset/

├── class1/

│   ├── video1.mp4

│   ├── video2.mp4

├── class2/

│   ├── video1.mp4

│   ├── video2.mp4

    

def create_time_series_json(data_dir, json_file):
    time_series_dict = {}

    for date_folder in os.listdir(data_dir):
        date_path = os.path.join(data_dir, date_folder)

        if os.path.isdir(date_path):
            time_series_dict[date_folder] = []
            for file_name in os.listdir(date_path):
                if file_name.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
                    time_series_dict[date_folder].append(file_name)

    with open(json_file, 'w') as f:
        json.dump(time_series_dict, f, indent=4)

    print(f"Time series JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/time_series_dataset'  # 时间序列数据集路径
json_output_file = 'time_series.json'                  # 输出的JSON文件名
create_time_series_json(data_directory, json_output_file)

         8.   样本不均衡 

在分类任务中，某些类别的样本数量远多于其他类别。

    

dataset/

├── class1/  # 有大量样本

│   ├── image1.jpg

│   ├── image2.jpg

│   ├── ...

├── class2/  # 有很少样本

│   ├── image1.jpg

    

def create_imbalanced_class_json(data_dir, json_file):
    class_dict = {}

    for class_name in os.listdir(data_dir):
        class_path = os.path.join(data_dir, class_name)

        if os.path.isdir(class_path):
            class_dict[class_name] = []
            for file_name in os.listdir(class_path):
                if file_name.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
                    class_dict[class_name].append(file_name)

    with open(json_file, 'w') as f:
        json.dump(class_dict, f, indent=4)

    print(f"Iimbalanced class JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/imbalanced_dataset'  # 不均衡样本数据集路径
json_output_file = 'imbalanced_class.json'           # 输出的JSON文件名
create_imbalanced_class_json(data_directory, json_output_file)

         9.   图像划分 

对于图像分割任务，通常会将原始图像和对应的分割掩码分开存储。

    

dataset/

├── images/

│   ├── image1.jpg

│   ├── image2.jpg

├── masks/

│   ├── image1_mask.png

│   ├── image2_mask.png

    

def create_image_segmentation_json(images_dir, masks_dir, json_file):
    segmentation_dict = {}

    for image_filename in os.listdir(images_dir):
        if image_filename.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
            mask_filename = os.path.splitext(image_filename)[0] + '_mask.png'  # 假设掩码文件以 _mask 后缀命名
            segmentation_dict[image_filename] = {
                'mask_file': mask_filename
            }

    with open(json_file, 'w') as f:
        json.dump(segmentation_dict, f, indent=4)

    print(f"Image segmentation JSON file created at: {json_file}")

# 使用示例
images_directory = '/path/to/your/images'  # 图像文件夹路径
masks_directory = '/path/to/your/masks'      # 掩码文件夹路径
json_output_file = 'image_segmentation.json'  # 输出的JSON文件名
create_image_segmentation_json(images_directory, masks_directory, json_output_file)

         10.   时间序列数据 

对于时间序列数据集，通常按时间戳组织。

    

dataset/

├── 2023-01-01/

│   ├── image1.jpg

│   ├── image2.jpg

├── 2023-01-02/

│   ├── image1.jpg

    

import os
import json

def create_time_series_json(data_dir, json_file):
    time_series_dict = {}

    # 遍历日期文件夹
    for date_folder in os.listdir(data_dir):
        date_path = os.path.join(data_dir, date_folder)

        # 确保是目录
        if os.path.isdir(date_path):
            # 初始化日期下的文件列表
            time_series_dict[date_folder] = []
            for file_name in os.listdir(date_path):
                if file_name.endswith(('.jpg', '.png')):  # 根据需要添加其他文件格式
                    time_series_dict[date_folder].append(file_name)

    # 将字典写入JSON文件
    with open(json_file, 'w') as f:
        json.dump(time_series_dict, f, indent=4)

    print(f"Time series JSON file created at: {json_file}")

# 使用示例
data_directory = '/path/to/your/time_series_data'  # 时间序列数据集路径
json_output_file = 'time_series.json'               # 输出的JSON文件名
create_time_series_json(data_directory, json_output_file)

 11：多模态数据集

def create_multimodal_json(images_dir, texts_dir, labels_dir, json_file):
    multimodal_dict = {}

    # 遍历图像文件
    for image_filename in os.listdir(images_dir):
        if image_filename.endswith(('.jpg', '.png')):  # 根据需要添加其他格式
            base_name = os.path.splitext(image_filename)[0]
            # 构造对应的文本和标签文件名
            text_filename = os.path.join(texts_dir, base_name + '.txt')  # 假设文本文件名以 .txt 结尾
            label_filename = os.path.join(labels_dir, base_name + '_label.txt')  # 假设标签文件名以 _label.txt 结尾

            # 检查文件是否存在
            multimodal_dict[image_filename] = {
                'text_file': text_filename if os.path.exists(text_filename) else None,
                'label_file': label_filename if os.path.exists(label_filename) else None
            }

    with open(json_file, 'w') as f:
        json.dump(multimodal_dict, f, indent=4)

    print(f"Multimodal JSON file created at: {json_file}")

# 使用示例
images_directory = '/path/to/your/images'  # 图像文件夹路径
texts_directory = '/path/to/your/texts'     # 文本文件夹路径
labels_directory = '/path/to/your/labels'    # 标签文件夹路径
json_output_file = 'multimodal.json'         # 输出的JSON文件名
create_multimodal_json(images_directory, texts_directory, labels_directory, json_output_file)

json的数据结构
qq_46396470的博客
07-24 1816
括起来的字符串（String）、数值(Number)、布尔值(true/false)、 null、对象（Object）或者数组（Array），这些结构可以嵌套。JSON 和 XML都是常用的数据交换格式。它们之间有什么区别呢？可以看到，JSON 比 XML 更加简洁，没有了冗余的标签和属性。数组（array）是值（value）的有序集合。，对应的值是字符串、数字和字符串。值（value）可以是花括号。JSON 字符串是由双引号。在这个例子中，对象的键是。在这个例子中，字符串。在这个例子中，布尔值。
网络编程(JSON 数据格式)
最新发布
波风水门的博客
02-14 904
JSON是一种文本格式，用于表示结构化数据。它由键值对组成，支持多种数据类型，包括数字、字符串、布尔值、数组和对象。JSON的设计目标是易于人阅读和编写，同时也易于机器解析和生成。从文件中读取 JSON 数据：程序首先从指定的 JSON 文件中读取数据到内存中。解析 JSON 数据：使用 cJSON 库解析 JSON 数据，并提取其中的字段值。输出解析结果：根据解析结果输出 JSON 数据中的指定字段。封装 JSON 数据：将一组数据（如消息、状态、城市信息、温度等）封装为 JSON 格式的字符串。
我国最新省市县Json数据集
09-07
全国各地省市县Json数据集的创建，有利于Android开发中对全国各地代码和地址的获取，为我们Android开发中的网络解析提供原数据。
数据集和JSON相互转换
weixin_30455023的博客
11-25 456
使用DELPHI原生类实现数据集和JSON相互转换 JSON二要素：数组和对象。对象可以包含数组，数组可以包含对象。无层数限制。OLEVARIANT也类似，OLEVARIANT的一个元素又可以是OLEVARIANT，且无层数限制。XML亦类似。这也是它们能序列一切对象的奥秒所在。JSON就是字符串，定义好序列后的字符串格式，甚至都不需要啥JSON类库，就可以自行组装JSON字符串和解析JSON...
Postman——创建数据集-使用外部数据文件（json）
yoona333的博客
06-09 736
Postman——创建数据集-使用外部数据文件（json）
【图像-关键点json标签】的数据集生成器
人工智能视觉分析算法学习实践和经验分享。
05-24 1459
前面做了一篇关于[服装关键点检测算法](https://blog.csdn.net/beauthy/article/details/114318277)的博客，因为重点在算法模型上，所以数据集这一块做的比较粗糙。评论区对于数据集的问题还蛮多，原文标签存储为csv文件，大家自己的标签多为json文件，所以，问我怎么读取或转csv文件怎么处理。本文就图像-关键点json文件标签的数据集进行处理。
关于图像分类任务中划分数据集，并且生成分类类别的json字典文件
Henry的博客
01-06 1489
图像分类任务自适应划分训练集和测试集，并且生成分类类别的josn字典文件
python生成数据集.Json文件
weixin_43339287的博客
10-20 1614
数据集的处理需要将txt文件和其他信息打包成.Json文件，因此使用的是python语言，代码附上，欢迎讨论。
关于目标检测：如何根据XML标签文件生成检测类别的json字典文件，包含数据集、测试代码以及生成好的json文件
01-04
本教程将详细介绍如何从XML标签文件转换为JSON字典文件，以适应目标检测的数据集需求，并提供测试代码和生成的JSON文件作为参考。 1. XML标签文件的理解 XML（Extensible Markup Language）是一种用于存储结构化...
人工智能+数据集预处理+xml文档转json
06-09
这些工具可能提供了命令行接口，允许用户指定XML文件路径并生成对应的JSON文件。批量处理功能有助于节省时间，尤其在处理大量数据集时。 为了确保转换过程的准确性和一致性，我们需要考虑以下几点： - **保留数据...
数据集标签 labelme和json转png.docx
08-24
对于大规模的数据集，可能需要批量处理多个 JSON 文件。可以编写脚本遍历整个目录，自动运行 `labelme_json_to_dataset` 命令。此外，`Labelme` 还提供了导出为 COCO 格式、VOC 格式等功能，适应不同机器学习框架的...
数据集，包含原始数据集、自助数据集、存储过程数据集、JSON数据集、脚本数据集、HTTP数据集、JS_dataset.zip
09-16
JSON数据集是结构化的数据存储格式，广泛应用于网络数据交换，其轻量级和可读性强的特点使得它成为前后端数据交互的热门选择。脚本数据集可能是通过特定脚本语言（如Python、R等）编写，用于数据处理、分析、可视化...
提取JSON文件和生成JSON文件
weixin_44563526的博客
11-15 1646
子对象的nickName 是父对象的属性名为Attributes的兄弟对象的show属性加上“_”下划线，再加自身的show属性拼接而成。3.在id转换成name的时候，在id前加上“flaw_type_”拼接成name。2.id>=8000的对象不需要转换。nickName是show属性的转换。1.没有id的对象不需要转换。3.生成json文件(本地)提供的 json文件如图。
深度学习数据集处理基础内容——xml和json文件详解
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
03-15 5058
XML 指可扩展标记语言（EXtensible Markup Language）。XML 是一种很像HTML的标记语言。XML 的设计宗旨是传输数据，而不是显示数据。XML 标签没有被预定义。您需要自行定义标签。XML 被设计为具有自我描述性。XML 是 W3C 的推荐标准。
修改原始数据，生成json文件
长歌的博客
11-09 572
拿到的原始json数据字段只有有中文和拼音缩写，拼音有重复的，不能作为唯一值使用。用中文又觉得难受，于是我遍历了一下该字段，手动添加了一个id项。但是又不想每次都调用方法，于是灵机一动，将生成的数据保存成json文件。然后转化一下，替代原始数据。 下面是将生成的数据保存成json文件代码： function createAndDownloadFile (fileName, content) { var aTag = document.createElement('a'); var blob
数据分析——json文件
wxsy024680的博客
07-30 3826
import json annotation = { "version": "4.5.7", "flags": {}, "shapes": [ { "label": "car", "points": [ [ 187.14285714285714, 403.14285714285717 ], [ 193.99999999999997, 407.42857142857144 ], [ 194.85714285714286, 414.0 ], [
（杂1）从soda10m数据集中选择想要的部分数据集并生成新的json文件
qq_38927534的博客
06-19 990
【代码】从soda10m数据集中选择想要的部分数据集并生成新的json文件。
数据处理| 自己的数据集json文件转txt文件（YOLO所需文件）
热门推荐
weixin_44649780的博客
02-07 1万+
首先一定要明确自己的json格式，把自己的数据集设置为yolo所需要的格式。#Json文件属性不同，提取信息不同。
数据集标注文件JSON格式简析
m0_37909240的博客
06-01 6064
Hey，最近在处理数据集的标注问题，今天来简要介绍一下数据集标注文件的json格式。 主要简介一下主流数据集COCO：COCO的全称是Common Objects in Context，是微软团队提供的一个可以用来进行影象识别的资料集。MS COCO资料集中的影象分为训练、验证和测试集。COCO通过在Flickr上搜索80个物件类别和各种场景型别来收集影象，其使用了亚马逊的Mechanical Turk（AMT）。 COCO通过大量使用Amazon Mechanical Turk来收集资料。COCO资料
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值