基于图片文件夹和相应的txt文本的情况下,划分训练集和测试集

        只有一个图片文件夹ILSVRC2012_img_val(一共5万张)和相应的txt文本标签val.txt,将4万张图片划分到训练集,1万张图片划分到测试集。

         前面是图片的命名,后面是图片的类别。

import random
import os
import shutil

image_index = []   #从txt文本随机挑1万个文本索引放入其中
image_path = r"D:\datasets\ImageNet\ILSVRC2012_img_val"  #图片文件夹路径
train_path = r"D:\datasets\ImageNet\train"   #要划分的训练集路径
test_path = r"D:\datasets\ImageNet\test"   #要划分的测试集路径
txt_path = r"D:\datasets\ImageNet\val.txt"  #txt文本路径
over = 0

with open(txt_path, "r") as f:
    image_name = f.readlines()  #打开txt文本,并把每行的txt文本放入到列表中
for i in range(len(image_name)):   #将列表中的每行文本进行分割,只要图片名,不需要类别
    image_name[i] = image_name[i].split(" ")[0]

for i in range(10000000000):  #无限迭代,取到不同的1万张图片索引停止
    a = random.randint(0, 49999)  #从0-49999随机取值
    if a in image_index:     #如果取到相同的索引,返回继续取
        continue
    image_index.append(a)  #添加到列表索引中
    over += 1     
    if over==10000:   #取到一万张停止
        break

for i in range(50000):   #划分数据集
    if i in image_index: #查看索引是否在一万张的索引内,是的话,从图片文件夹复制到测试集文件夹
        if os.path.exists(test_path):  #测试集文件夹是否存在,不存在就先创建
            shutil.copy(os.path.join(image_path, image_name[i]), os.path.join(test_path, image_name[i])) #从图片文件夹复制到测试集文件夹
        else:
            os.makedirs(test_path)
            shutil.copy(os.path.join(image_path, image_name[i]), os.path.join(test_path, image_name[i]))
    else:   #索引不在一万张的索引内,所以划分到训练集
        if os.path.exists(train_path):
            shutil.copy(os.path.join(image_path, image_name[i]), os.path.join(train_path, image_name[i]))
        else:
            os.makedirs(train_path)
            shutil.copy(os.path.join(image_path, image_name[i]), os.path.join(train_path, image_name[i]))

对于YOLOv8的训练和测试集划分,一般会遵循以下步骤: 1. 收集数据集:首先,你需要收集足够多的包含目标物体的图像样本。这些图像应该具有各种不同的背景、尺寸、光照和角度。确保你的数据集涵盖了你希望YOLOv8能够检测的所有类别。 2. 划分数据集:将收集到的数据集划分训练集测试集。一般情况下,常见的划分比例是将数据集的80%用于训练,20%用于测试。这样做可以确保模型在训练过程中不仅能够学习目标物体的特征,还能够验证模型的泛化能力。 3. 随机化顺序:在对数据集进行划分之前,最好将数据集的样本顺序进行随机化。这样能够保证训练集测试集中的样本分布相似,避免因为数据分布不均衡而导致模型性能不佳。 4. 文件列表或文件夹划分:可以使用文件列表或者文件夹划分训练集测试集文件列表是将图像文件名及其对应的标签以文本文件形式记录下来,然后根据这个列表将图像分配到不同的训练集测试集文件夹中。文件夹划分则是直接将图像文件分配到对应的训练集测试集文件夹中。 5. 数据增强:在划分训练集测试集之后,可以考虑对训练集进行数据增强操作,以扩充训练集样本数量和多样性。常见的数据增强操作包括平移、旋转、缩放、翻转等。 注意,划分训练集测试集的目的是为了评估模型的性能和泛化能力。在评估模型时,应仅使用测试集中的样本,不应使用训练集中的样本进行评估。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值