将数据集分为训练集和测试集（python脚本）

最新推荐文章于 2024-09-18 15:25:34 发布
最新推荐文章于 2024-09-18 15:25:34 发布
阅读量8.9k 收藏 88
点赞数 17
文章标签： python 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KyogokuNZ/article/details/115058181
版权

文章目录

程序：

我们在训练卷积神经网络之前，要搭建好数据集，分成训练集和测试集两部分。
本程序以花分类数据集为例，将数据集分成训练集和测试集。

先把完整的程序贴出来。

#split_data.py

import os
from shutil import copy, rmtree
import random


def mk_file(file_path: str):
    if os.path.exists(file_path):
        # 如果文件夹存在，则先删除原文件夹在重新创建
        rmtree(file_path)
    os.makedirs(file_path)


def main():
    # 保证随机可复现
    random.seed(0)

    # 将数据集中10%的数据划分到验证集中
    split_rate = 0.1

    # 指向你解压后的flower_photos文件夹
    cwd = os.getcwd()
    data_root = os.path.join(cwd, "flower_data")
    origin_flower_path = os.path.join(data_root, "flower_photos")
    assert os.path.exists(origin_flower_path)
    flower_class = [cla for cla in os.listdir(origin_flower_path)
                    if os.path.isdir(os.path.join(origin_flower_path, cla))]

    # 建立保存训练集的文件夹
    train_root = os.path.join(data_root, "train")
    mk_file(train_root)
    for cla in flower_class:
        # 建立每个类别对应的文件夹
        mk_file(os.path.join(train_root, cla))

    # 建立保存验证集的文件夹
    val_root = os.path.join(data_root, "val")
    mk_file(val_root)
    for cla in flower_class:
        # 建立每个类别对应的文件夹
        mk_file(os.path.join(val_root, cla))

    for cla in flower_class:
        cla_path = os.path.join(origin_flower_path, cla)
        images = os.listdir(cla_path)
        num = len(images)
        # 随机采样验证集的索引
        eval_index = random.sample(images, k=int(num*split_rate))
        for index, image in enumerate(images):
            if image in eval_index:
                # 将分配至验证集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(val_root, cla)
                copy(image_path, new_path)
            else:
                # 将分配至训练集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(train_root, cla)
                copy(image_path, new_path)
            print("\r[{}] processing [{}/{}]".format(cla, index+1, num), end="")  # processing bar
        print()

    print("processing done!")


if __name__ == '__main__':
    main()

下面简单介绍一下程序流程

1、引入库

import os
from shutil import copy, rmtree
import random

os库

os 库提供通用的、基本的操作系统交互功能。
os 库是Python标准库，包含几百个函数，常用的有路径操作、进程管理、环境参数等。
os可以实现简单的文件夹和文件操作。
可参考Python os库使用

shutil

shutil可以实现复杂的文件操作，比如对文件的拷贝和复制。

random

很常用的关于随机生成的库。

2、mk_file函数

def mk_file(file_path: str):
    if os.path.exists(file_path):
        # 如果文件夹存在，则先删除原文件夹在重新创建
        rmtree(file_path)
    os.makedirs(file_path)

os.path.exists(path) :判断path对应文件或目录是否存在，返回True或False

rmtree() :递归地删除文件夹下的所有子文件夹和子文件。

os.makedirs():可以创建多级目录，如果路径的目录都不存在，都可以创建出来。

所以这个mk_file函数的作用是，当目标文件已经存在，删除后再创建。即覆盖更新过程。

3、主函数

  • 1
def main():
    # 保证随机可复现
    random.seed(0)

    # 将数据集中30%的数据划分到验证集中
    split_rate = 0.3

random.seed()：创建随机种子，括号里添加具体数值方便让后续的随机生成操作可复现。

  • 2
    # 指向你解压后的flower_photos文件夹
    cwd = os.getcwd()
    data_root = os.path.join(cwd, "flower_data")
    origin_flower_path = os.path.join(data_root, "flower_photos")
    assert os.path.exists(origin_flower_path)  #确定这个路径是存在的
    flower_class = [cla for cla in os.listdir(origin_flower_path)
                    if os.path.isdir(os.path.join(origin_flower_path, cla))]  #建立一个花的类别的列表

os.getcwd()：返回程序的当前路径。

这里我放置这个split_data.py程序的路径为 E:\1test\date_test

os.path.join(path1,path2)： 路径拼接

所以data_root 得到路径E:\1test\date_test\flower_data
origin_flower_path得到路径E:\1test\date_test\flower_data\flower_photos

说明一下，我们存放有花数据的文件夹flower_data，与这个程序在同一级文件夹下。
在这里插入图片描述
flower_data文件夹里有我们下载好（或自己爬好）的未划分的数据
在这里插入图片描述
在这里插入图片描述
data_root = os.path.join(cwd, “flower_data”)定位了flower_data文件夹的路径。
origin_flower_path = os.path.join(data_root, “flower_photos”)定位了下一级文件夹里flower_photos的路径。

os.listdir()：用于返回一个由文件名和目录名组成的列表，需要注意的是它接收的参数需要是一个绝对的路径。
如：
已知路径path = /home/python/Desktop/
请输出该路径下的所有文件和目录名称

import os
path = '/home/python/Desktop/'
for i in os.listdir(path):
    print(i)

os.path.isdir()：用于判断对象是否为一个目录
如：
已知路径path = /home/python/Desktop/
请输出该目录下包含的目录名称

import os
for i in os.listdir(path):
    if os.path.isdir(i):
        print(i)

则

flower_class = [cla for cla in os.listdir(origin_flower_path)
                    if os.path.isdir(os.path.join(origin_flower_path, cla))]

这句代码，把origin_flower_path 下的花的类别文件夹名，生成了一个花类列表[“daisy”,“dandelion”,“roses”,“sunflowers”,“tulips”]

  • 3
    # 建立保存训练集的文件夹
    train_root = os.path.join(data_root, "train")
    mk_file(train_root)
    for cla in flower_class:
        # 建立每个类别对应的文件夹
        mk_file(os.path.join(train_root, cla))

    # 建立保存验证集的文件夹
    val_root = os.path.join(data_root, "val")
    mk_file(val_root)
    for cla in flower_class:
        # 建立每个类别对应的文件夹
        mk_file(os.path.join(val_root, cla))

解释：

train_root = os.path.join(data_root, "train")
mk_file(train_root)

#在data_root路径下（flower_data文件夹）创建train文件夹

    for cla in flower_class:
        mk_file(os.path.join(train_root, cla))
# 在建立好的train文件夹下，建立每个类别对应的文件夹

验证集同理。
注意这一步形成了空的、分别用来保存训练集和测试集的文件夹，需要下一步填入图片。
在这里插入图片描述

  • 4
    for cla in flower_class:
        cla_path = os.path.join(origin_flower_path, cla)
        images = os.listdir(cla_path)
        num = len(images)
        # 随机采样验证集的索引
        eval_index = random.sample(images, k=int(num*split_rate))
        for index, image in enumerate(images):
            if image in eval_index:
                # 将分配至验证集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(val_root, cla)
                copy(image_path, new_path)
            else:
                # 将分配至训练集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(train_root, cla)
                copy(image_path, new_path)
            print("\r[{}] processing [{}/{}]".format(cla, index+1, num), end="")  # processing bar
        print()

解释：

		cla_path = os.path.join(origin_flower_path, cla)

#定位到原始数据集的各类花的文件夹（含有一类花的所有图片）

        images = os.listdir(cla_path)
#将这类花文件夹下的所有图片形成一个列表。

        num = len(images)
        # 随机采样验证集的索引
        eval_index = random.sample(images, k=int(num*split_rate))

k=int(num*split_rate)即要挑选出的验证集图片数。
这一步用随机方法形成了要放进验证集里的图片的索引的一个列表。

        for index, image in enumerate(images):
            if image in eval_index:
                # 将分配至验证集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(val_root, cla)
                copy(image_path, new_path)

enumerate函数可以同时获得索引和值。
所以这句代码的意思 ，我从原来一个花类（如daisy）的所有图片中判断，如果这个图片的索引是上一步要取出作为验证集的，那就把它copy到之前建好的放验证集的空的同名文件夹下（如val\daisy）.

            else:
                # 将分配至训练集中的文件复制到相应目录
                image_path = os.path.join(cla_path, image)
                new_path = os.path.join(train_root, cla)
                copy(image_path, new_path)

紧接着，如果不是要作为验证集的图片，把他copy到之前建好的放训练集的空的同名文件夹下（如train\daisy）.

            print("\r[{}] processing [{}/{}]".format(cla, index+1, num), end="")  # processing bar

实时显示进度。

以上就是这个将数据集分割为训练集和验证集的思路。

以后自己通过爬取图片建立数据集，按照这个程序思路，就不用自己一点一点算数量，进行复制粘贴的麻烦工作了。直接使用这个程序，更改一下文件夹名称，直接用就可以了。不过要注意层级结构，这个脚本和放数据的文件是同级的，可以参考上面的截图。

希望能对你有所帮助！o( =•ω•= )m

Kyogoku柠子.
关注
将数据集划分为训练集与测试集
qq_43199053的博客
12-25 8823
数据集划分 进行机器学习项目时我们经常会将数据集划分为训练集、测试集（和验证集）。为了保证数据的客观性，我们经常通过随机的方式打乱数据集，本文将提供一种随机分配数据集的方式。 环境 python 3 代码部分 进入数据集目录（默认所有图片存在同一文件夹内，如果储存在不同子文件夹内，请用os.walk()） 运行以下python代码。数据集会在此文件夹内分为三个文件夹：train, val, tes...
如何把数据集划分成训练集和测试集
weixin_30889885的博客
04-13 1万+
本文主要内容来自周志华《机器学习》 本文中代码 问题： 对于一个只包含\(m\)个样例的数据集\(D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\)，如何适当处理，从\(D\)中产生训练集\(S\)和测试集\(T\)? 下面介绍三种常见的做法： 留出法 交叉验证法 自助法 留出法(hold-out) 留出法直接将数据集\(D\)划分为两个互斥的集合，其中一...
医学数据分析实训 项目九 糖尿病风险预测
最新发布
m0_73678713的博客
09-18 1162
本实践项目的数据集包含“train.csv”和“test.csv”两部分，部分特征名已经做了脱敏处理。训练集中包含年龄、性别、各项体检指标及目标血糖值。测试集相对于训练集缺少了对应的血糖值。训练集中包含 42个数据特征，其中 37 个为医学指标特征，数据集中的第一行为特征名称，其余每行代表一个个体。部分特征内容在部分人群中有缺失。 请将以上体检数据集进行预处理，并在处理后的数据集的基础上，结合交叉验证，运用一种基于决策树算法的梯度提升框架的 LightGBM 算法对训练集进行训练，建立预测模型，实现血糖预
将数据集自动划分为训练集和测试集
q1030460485的博客
09-04 2102
这个时候就得到了如图所示的训练集和测试集，其中测试集的数量可以更改，这里是按照训练集的0.1来分测试集。很方便，做个笔记，大家一起使用。
将数据集划分为训练集以及测试集
weilaicxy22的博客
09-20 3248
将数据集简单地划分为测试集以及训练集 import os import random train_percent = .9 # 训练集所占比例 valid_percent = 0.1 # 测试集所占比例 xmlfilepath = 'data-delete' #图片所在地相对路径 total_file = os.listdir(xmlfilepath) #以列表地形式将文件夹中的图片名字罗列出 num = len(total_file) list = range(num) tr = int(n
python实现将数据集分成训练集与测试集
热门推荐
xing_ran_ran的博客
03-11 1万+
#导入相应的库（对数据库进行切分需要用到的库是sklearn.model_selection 中的 train_test_split） import numpy as np from sklearn.model_selection import train_test_split #首先，读取.CSV文件成矩阵的形式。 my_matrix = np.loadtxt(open("xxxxx...
python实现数据集划分，划分为训练集和测试集
m0_61497715的博客
03-30 8040
划分数据集的比例，本文是0.1：验证集的数量占总数据集的10%比如填0.1就是验证集的数量占总数据集的10%数据集的存放：新建一个数据文件夹，将划分的数据集存放进去。
python脚本，划分训练集和测试集，coco、voc格式的数据转换成yolo系列数据
06-28
内容概要：python脚本划分训练集测试集。可以把coco、voc格式的数据转换成yolo系列数据。经过大量实践验证无bug 源代码：python脚本 适合人群：学生、具备一定编程基础，工作1-3年的研发人员、想入门人工智能的爱好...
Python 实现训练集、测试集随机划分
12-23
以下函数，使用于我最近的一个机器学习的项目，将数据集数据按照比例随机划分成训练集数据和测试集数据： import csv import random def getDataSet(proportion): """ :exception 获取训练集和测试集(将数据按...
DeepLearningDatasetSplits：将图像数据集分为训练集和测试集的脚本
02-18
将图像数据集分为训练集和测试集的脚本 加州大学圣地亚哥分校鸟200 设置的层次结构： 将脚本与图像（ ）和训练/测试文本拆分文件（）放在同一目录中 | |--ucsd_birds_test_train_split.py |--images ...
图像分割数据集：自然场景下的水体图像分割（2分割，包含训练集和测试集）
04-09
数据集介绍：分为训练集、测试集 训练集：images图片目录+masks模板目录，1306张图片和1306个对应的mask图片 测试集：images图片目录+masks模板目录，326张图片和326个对应的mask图片 除此之外，包含一个图像分割的...
python 划分数据集为训练集和测试集的方法
09-19
今天小编就为大家分享一篇python 划分数据集为训练集和测试集的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
人工智能数据集划分脚本划分训练集和测试集
02-10
本脚本食用方法十分简单，原理是提取目录中的文件名称，随机打乱，放到对应的数组中，后续再对数组中的内容进行对比，提取存在标签的图片，最后将图片和标签划分到训练集、验证集、测试集。 默认情况下，我提供了一...
代码问题：划分训练集train_data和测试集test_data
muyuejinxing的博客
12-07 1057
问题：使用sklearn的train_test_split来划分训练集和测试集，会把原有的数据顺序打乱。此时进行数据预测，准确率高达99%，预测结果太高了，因此，对数据集进行重新划分。 将数据按照日期进行划分，将前面8个月作为训练集，后面4个月作为测试集，重新进行训练。
如何将原始数据集分为训练集与测试集
m0_54361461的博客
11-07 2790
我们通常拿到的数据集为一整个数据集，往往我们需要拆分为训练集与测试集。拆分代码文中所示
python输入多组测试数据_python中如何实现将数据分成训练集与测试集的方法
weixin_39805720的博客
11-24 532
接下来，直接给出大家响应的代码，并对每一行进行标注，希望能够帮到大家。需要用到的是库是。numpy 、sklearn。#导入相应的库（对数据库进行切分需要用到的库是sklearn.model_selection 中的 train_test_split）import numpy as npfrom sklearn.model_selection import train_test_split#首先，...
机器学习——数据集划分——train_test_split和np.split方法
huangguohui_123的博客
08-25 8188
一、train_test_split sklearn中有方法能将数据集划分为训练集和测试集，实现过程如下： from sklearn.model_selection import train_test_split #数据分区 x=np.arange(72).reshape(24,3) #24个样本点，3个维度 y=np.arange(24) X_train,X_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=0
python将数据集分为训练集测试集验证集
12-09
以下是一个将数据集分为训练集、测试集和验证集的Python脚本示例： ```python import os import random import shutil # 数据集所在目录 data_dir = '/path/to/dataset' # 划分比例 train_ratio = 0.7 val_ratio = 0.2 test_ratio = 0.1 # 新建目录存放划分后的数据集 train_dir = os.path.join(data_dir, 'train') val_dir = os.path.join(data_dir, 'val') test_dir = os.path.join(data_dir, 'test') os.makedirs(train_dir, exist_ok=True) os.makedirs(val_dir, exist_ok=True) os.makedirs(test_dir, exist_ok=True) # 遍历数据集中的所有文件 for root, dirs, files in os.walk(data_dir): for file in files: # 随机生成一个0到1之间的浮点数 rand = random.random() if rand < train_ratio: # 将文件复制到训练集目录 shutil.copy(os.path.join(root, file), os.path.join(train_dir, file)) elif rand < train_ratio + val_ratio: # 将文件复制到验证集目录 shutil.copy(os.path.join(root, file), os.path.join(val_dir, file)) else: # 将文件复制到测试集目录 shutil.copy(os.path.join(root, file), os.path.join(test_dir, file)) ``` 该脚本首先定义了数据集所在目录和划分比例，然后新建了存放划分后数据集的目录。接着遍历数据集中的所有文件，随机生成一个0到1之间的浮点数，根据该浮点数将文件复制到训练集、验证集或测试集目录中。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值