将数据集划分为训练集与测试集

最新推荐文章于 2024-08-04 02:35:58 发布

Surpel陈

最新推荐文章于 2024-08-04 02:35:58 发布

阅读量8.7k

点赞数 6

分类专栏： Python 文章标签：深度学习机器学习

本文链接：https://blog.csdn.net/qq_43199053/article/details/103703736

版权

在机器学习项目中，通常需要将数据集划分为训练集、测试集。本文介绍了一种随机分配数据集的方法，包括Python代码示例，用于在指定比例下分割数据集，并保持子类别的分布平衡。

摘要由CSDN通过智能技术生成

数据集划分

进行机器学习项目时我们经常会将数据集划分为训练集、测试集（和验证集）。为了保证数据的客观性，我们经常通过随机的方式打乱数据集，本文将提供一种随机分配数据集的方式。

环境

python 3

代码部分

进入数据集目录（默认所有图片存在同一文件夹内，如果储存在不同子文件夹内，请用os.walk()）
运行以下python代码。数据集会在此文件夹内分为三个文件夹：train, val, test

import os,shutil,random

val_rate=1
test_rate=2
train_rate=7
total_rate=val_rate+test_rate+train_rate

if not os.path.exists('train'):
    os.mkdir('train')
if not os.path.exists('test'):
    os.mkdir('test')
if not os.path.exists('val'):
    os.mkdir('val')
    
files = os.listdir()
files.remove('train')
files.remove('test')
files.remove('val')
lenf