图像数据集label生成

已于 2024-05-16 11:35:28 修改
阅读量277 收藏
点赞数 2
文章标签： 深度学习
于 2024-05-07 14:57:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56504083/article/details/138532129
版权

第一种结构：

标签名为大类名

-train
	-class1
		-1.jpg
		-2.jpg
	-class2
		-1.jpg
		-2.jpg
	-class3
		-1.jpg
		-2.jpg
-val
	-1.jpg
	-2.jpg

可根据我们的代码提取出相关的label（通过数字的方式去定义），存放于csv或者txt文件中

# -*-coding:utf-8-*-


import os
import os.path
import pandas as pd

def write_train_txt(content, filename, mode='w'):
    """保存txt数据
    :param content:需要保存的数据,type->list
    :param filename:文件名
    """
    with open(filename, mode) as f:
        for line in content:
            str_line = ""
            for col, data in enumerate(line):
                if not col == len(line) - 1:
                    # 以空格作为分隔符
                    str_line = str_line + str(data) + " "
                else:
                    # 每行最后一个数据用换行符“\n”
                    str_line = str_line + str(data) + "\n"
            f.write(str_line)

def write_val_txt(content, filename, mode='w'):
    """保存txt数据
    :param content:需要保存的数据,type->list
    :param filename:文件名
    """
    str_line = ''
    with open(filename, mode) as f:
        for line in content:
            str_line = str_line + str(line) + "\n"
            f.write(str_line)

def get_train_files_list(dir):
    '''
    实现遍历dir目录下,所有文件(包含子文件夹的文件)
    :param dir:指定文件夹目录
    :return:包含所有文件的列表->list
    '''
    # parent:父目录, filenames:该目录下所有文件夹,filenames:该目录下的文件名
    files_list = [] #写入文件的数据
    class_floder = os.listdir(dir)
    class_path = [os.path.join(dir,i) for i in class_floder]
    # print(class_floder)       # ['clothes', 'pants', 'shoes']
    # print(class_path)       # ['./mydata/train/clothes', './mydata/train/pants', './mydata/train/shoes']
    for i in range(len(class_floder)):
        curr_file = class_floder[i]
        # print(curr_file)
        if curr_file == "shoes":
            labels = 0
        elif curr_file == "pants":
            labels = 1
        elif curr_file == "clothes":
            labels = 2
        curr_file = os.path.join(dir, curr_file)
        file_list = os.listdir(curr_file)
        # print(file_list)    # ['679005d71e2b58620cbc99de3297318c.jpeg', 'cfc38e8c6dbac6e455cb591c0c6865a4.jpeg', '019d3044ebf4e44d2fa2cd16df60252d.jpeg']
        for file_name in file_list:
            files_list.append([os.path.join(class_path[i], file_name), labels])
        # print(files_list)           # [['./mydata/train/clothes/679005d71e2b58620cbc99de3297318c.jpeg', 2], ['./mydata/train/clothes/cfc38e8c6dbac6e455cb591c0c6865a4.jpeg', 2], ['./mydata/train/clothes/019d3044ebf4e44d2fa2cd16df60252d.jpeg', 2]]

            #写入csv文件
            path = "%s" % os.path.join(class_path[i], file_name)
            label = "%d" % labels
            list = [path, label]
            data = pd.DataFrame([list])
            data.to_csv("./mydata/train.csv", mode='a', header=False, index=False)
    return files_list

def get_val_files_list(dir):
    files_list = [] # 写入文件的数据
    class_path = os.listdir(dir)

    for file_name in class_path:
        files_list.append(os.path.join(dir, file_name))
        #写入csv文件
        path = "%s" % os.path.join(dir, file_name)
        list = [path]
        data = pd.DataFrame([list])
        data.to_csv("./mydata/val.csv", mode='a', header=False, index=False)
    return files_list

if __name__ == '__main__':
    # 训练集trian（带标签）
    # 提前创建csv文件
    df = pd.DataFrame(columns=['path', 'label'])
    df.to_csv("./mydata/train.csv", index=False)

    train_dir = './mydata/train'
    train_txt = './mydata/train.txt'
    train_data = get_train_files_list(train_dir)   # 顺便写入csv文件

    # 写入并保存txt文件
    write_train_txt(train_data, train_txt, mode='w')

    # 验证集val（不带标签）
    df = pd.DataFrame(columns=['path'])
    df.to_csv("./mydata/val.csv", index=False)

    val_dir = './mydata/val'
    val_txt = './mydata/val.txt'
    val_data = get_val_files_list(val_dir)  # 顺便写入csv文件
    write_val_txt(val_data, val_txt, mode='w')

文件存放路径为：

-train
	-class1
		-1.jpg
		-2.jpg
	-class2
		-1.jpg
		-2.jpg
	-class3
		-1.jpg
		-2.jpg
-val
	-1.jpg
	-2.jpg
-train.txt
-val.txt
-train.csv
-val.csv

train.txt文件
在这里插入图片描述
train.csv文件
在这里插入图片描述

val.txt文件
在这里插入图片描述
val.csv文件
在这里插入图片描述

第二种结构

标签名为大类下的小类名

-train
	-class1
		-class1_1
			-1.jpg
			-2.jpg
		-class1_2
			-1.jpg
			-2.jpg
	-class2
		-class2_1
			-1.jpg
			-2.jpg
	-class3
		-class3_1
			-1.jpg
			-2.jpg

# -*-coding:utf-8-*-


import os
import os.path
import pandas as pd

def check_DS_Store(list):
    li = list
    for i in list:
        if '.DS_Store' in i:
            li.remove(i)
    return li

def write_train_txt(content, filename, mode='w'):
    """保存txt数据
    :param content:需要保存的数据,type->list
    :param filename:文件名
    """
    with open(filename, mode) as f:
        for line in content:
            str_line = ""
            for col, data in enumerate(line):
                if not col == len(line) - 1:
                    # 以空格作为分隔符
                    str_line = str_line + str(data) + " "
                else:
                    str_line = str_line + str(data) + "\n"
            f.write(str_line)

def get_train_files_list(dir):
    '''
    实现遍历dir目录下,所有文件(包含子文件夹的文件)
    :param dir:指定文件夹目录
    :return:包含所有文件的列表->list
    '''
    # parent:父目录, filenames:该目录下所有文件夹,filenames:该目录下的文件名
    files_list = [] #写入文件的数据
    class_floder = os.listdir(dir)

    class_floder = check_DS_Store(class_floder)
    # print(class_floder)

    class_path = [os.path.join(dir,i) for i in class_floder]

    class_path = check_DS_Store(class_path)
    # print(class_path)

    label = 0
    for i in range(len(class_path)):
        temp = os.listdir(class_path[i])

        temp = check_DS_Store(temp)
        # print(temp)

        for j in range(len(temp)):
            curr_file_folder = os.path.join(class_path[i], temp[j])

            curr_file_folder = check_DS_Store(curr_file_folder)
            # print(curr_file_folder)

            for k in os.listdir(curr_file_folder):
                curr_filename = os.path.join(curr_file_folder, k)

                # curr_filename = check_DS_Store(curr_filename)
                # print(curr_filename)

                files_list.append([curr_filename,label])

            label += 1
            # print(files_list)
    return files_list


if __name__ == '__main__':
    train_dir = './mydata/Lacoste4大类AI标签训练样本'
    train_txt = './mydata/all_image.txt'
    train_data = get_train_files_list(train_dir)
    # print(train_data)
    # 写入并保存txt文件
    write_train_txt(train_data, train_txt, mode='w')
童话里作英雄
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
制作label标注
10-31
window下的小工具，无需安装，通过加载图片手动截取目标区域，选取label进行标注，自动生成目标区域的VOC格式的xlm文档，界面清晰，操作简单（注意，需要自己建立一个文件夹存放结果）
【PyTorch教程】制作数据集的标签（label）
热门推荐
weixin_42306148的博客
03-08 1万+
关于制作数据集的label： 在P7视频的最后，写了这段，用来重新命名文件的label的 img 和 label 的管理方法，有两种： 1、用img所在文件夹的名称，作为label； 2、img在一个文件夹，label在另一个文件夹，img文件夹中是图片，label文件夹中是txt文件，txt文件名跟对应img名称一致，而label，写在txt文件里面 可以运行的代码 # ！usr/bin/env python3 # -*- coding:utf-8 -*- """ author :24nemo da
yolov5 自己制作数据集，训练模型 labelImg标注 自动生成标签
qq_40570751的博客
06-01 9244
数据收集时要注意的问题。 样本数量多，还要多样性：yolov5对数据集的要求是每个类的数据大于1.5K，目标数大于10K。For real-world use cases we recommend images from different times of day, different seasons, different weather, different lighting, different angles, different sources (scraped online, collecte
常用图像数据集原始数据(.png或.jpg格式)生成方法
iSummer的专栏
07-01 1万+
引言 在计算机视觉方面的工作，我们常常需要用到很多图像数据集．像ImageNet这样早已大名鼎鼎的数据集，我等的百十个Ｇ的硬盘容量怕是怎么也承载不下；本文中，将给出一些Hello world级的图像数据集生成方法，以及其他相关图像数据资源的整理． 本文的主要内容包括： MNIST, CIFAR-10, CIFAR-100等.png或.jpg格式数据集的生成方法；如何编写脚本生成图
华为街景语义分割数据集json文件转换为label标签
qq_39197555的博客
01-03 1356
今天遇见了一个复杂的问题。华为语义分割街景数据集给的是json文件，并非已经生成的label图片。刚开始不知道怎么搞，想通过cityscapes数据集的cityscapesScripts-master工具制作，但是捣鼓半天未果。 于是想没有轮子自己造呗。。。。。。呃呃呃，难受 不扯别的看下图，你会发现其实，json文件里面是一个字典，自定里面最重要的就是红框里面的的东西，包含了每一个物体的外接封闭多边形的顶点坐标，如果不理解这句话多读几遍。我们的目标就是生成一幅图像，让这些封闭区域内都填充相应的目标值
制作自己的Yolov7数据集【手把手教程】
qq_64314459的博客
02-21 1773
使用labelimg（本文不进行讲解）进行数据标注，直接选择yolo数据集格式，之后将图片与标注好的标签文件（.txt）放在两个不同的文件夹中（默认行为）。如果文件数量不符合上述，使用代码将具有相同名称的不同类型文件选出（图片对应的标签文件与图片名称相同，例如图片为1.jpg则标签文件为1.txt）。比对两个文件夹中的文件个数是否相同，正常来说txt文件夹中的文件应该比图片文件夹中的数量多一个。除此之外在adata文件夹中还应该有三个txt文件用来存放图片路径。同理每个文件夹中都有txt标签文件。
【机器学习】实验5布置：基于K-近邻的车牌号识别
Can__er的博客
07-30 631
【机器学习】实验5布置：基于K-近邻的车牌号识别
Yolov8-obb数据集生成
03-15
这里提到的"Yolov8-obb数据集批量生成"可能是指一种自动化工具，可以快速为大量图像生成obb标注，显著提高效率。 4. **数据预处理**：生成标注后，需要将其转换为YOLOv8模型能够理解的格式。通常，这涉及到将XML或...
逆向将物体检测数据集生成labelme标注的数据
12-21
接着，`dict_json`函数用于构建Labelme所需的JSON对象，包含图像数据、形状信息、颜色配置以及其他相关元数据。这里的`shapes`参数是从PASCAL VOC XML文件中提取的物体边界框信息。 然后，通过遍历数据集的各个子...
labelImg（标注数据集工具）
10-17
总的来说，`labelImg`作为一款轻量级的图像标注工具，以其简单易用和高效的特点，成为了数据集创建过程中的得力助手。无论是学术研究还是商业应用，都能从中受益。只需简单的操作，就能快速地生成高质量的标注数据，...
目标检测猪群数据集-.
07-05
在这个名为“目标检测猪群数据集-.”的压缩包中，包含了用于训练和评估目标检测模型的丰富资源，特别关注的是猪群的检测。数据集的构建是机器学习项目中的关键步骤，特别是对于深度学习算法，如 Faster R-CNN, YOLO ...
python voc数据集.docx
04-20
VOC（Pascal Visual Object Classes）数据集是计算机视觉领域一个非常重要的数据集，它为研究人员提供了丰富的资源来研究物体检测、图像分割和分类等问题。VOC数据集包含20个不同的类别，这些类别涵盖了日常生活中的...
图片标注工具LabelImg使用教程
yaningli的博客
09-18 1666
Ubuntu源码安装 由于Ubuntu系统自带python，这款软件在Ubuntu环境下的安装是最方便的。软件要求python版本在2.6以上，同时需要PyQt和lxml的支持。 $ sudo apt-get install pyqt4-dev-tools # 安装PyQt4 $ sudo pip install lxml # 安装lxml，如果报错，可以试试下面语句 $ sudo apt
Python 生成带标签数据集的 CSV 文件
辉哈
06-17 9274
#!/usr/bin/python # -*- coding: UTF-8 -*- # Python 生成 CSV 文件 # Python 生成 CSV 文件，可用于生成带标签的数据集 CSV 文件，标签从0开始自动升序：0,1,2,3... # 作者：huihut # 仓库：https://gist.github.com/huihut/9881c98a1d9279d4fa9dfd8475e3f...
亲测可用，Labelme通过生成的json文件批量生成label，并将label图片批量提取出来（语义分割，实例分割都可）
Wddym的博客
06-22 3234
1、首先是labelme的安装使用，可以参考下面这个链接就行，网上也有超级多教程，自己搜一下即可。个人认为这个写的还比较详细： https://blog.csdn.net/weixin_44021446/article/details/107283615 2、进行标注并生成对应的json文件如下： 3、要将这些json文件提取出来我们的标记影像，需要用到一个叫 labelme_json_to_dataset.exe的程序，他的位置在这里 C:\Users\yinmo\Anaconda3\envs\labe
pytorch生成图像标签数据集的三种方式
人工智能视觉分析算法学习实践和经验分享。
05-20 6063
前面做了一篇关于[服装关键点检测算法](https://blog.csdn.net/beauthy/article/details/114318277)的博客，因为重点在算法模型上，所以数据集这一块做的比较粗糙。评论区对于数据集的问题还蛮多，所以，我在这篇文章重点介绍一下数据集。 本文将提供三种生成数据集方案的总接口。
制作数据集标签--使用labelImg
kangyi411的博客
08-24 7454
我们在学习深度学习的时候，会经常用到自己的数据集，而数据集的标签，往往是用labelImg制作的，下面就讲一下labelImg的使用方法 打开终端，下载labelImg git clone https://github.com/tzutalin/labelImg 安装依赖 sudo apt-get install pyqt4-dev-tools sudo apt-get install ...
深度学习中降维的几种方法
最新发布
Thomas_Cai的记忆殿堂
08-02 360
深度学习中降维的几种方法
skimage图像处理包生成图像标签数据集
05-09
在skimage中，可以使用`measure.label`函数生成图像的标签数据集。这个函数将连接在一起的像素组成一个区域，并用一个唯一的标签标识每个区域。下面是一个示例代码： ```python from skimage import io, measure ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值