python深度学习数据集划分详解

最新推荐文章于 2024-09-17 22:14:30 发布

爱跳舞的小逼崽子

最新推荐文章于 2024-09-17 22:14:30 发布

阅读量602

点赞数 2

分类专栏：笔记文章标签：机器学习神经网络深度学习 pytorch

本文链接：https://blog.csdn.net/m0_54418922/article/details/118361791

版权

本文详细介绍了Python中用于深度学习的数据集划分方法，包括关键步骤和常见库的使用，帮助读者理解如何有效地准备训练、验证和测试数据集。

摘要由CSDN通过智能技术生成

python深度学习数据集划分详解

import os
import random
import sys
import shutil
#abspath表示此时本文件所在的位置，dirname表示上级目录所在是位置
BASE_DIR=os.path.dirname(os.path.abspath(__file__))
print(BASE_DIR)
#如果我们创建的新路径不存在，则创建该路径
def makedir(new_dir):
    if not os.path.exists(new_dir):
        os.makedirs(new_dir)

if __name__=='__main__':
    #路径拼接，创建一系列文件夹
    dataset_dir = os.path.abspath(os.path.join(BASE_DIR,"data", "RMB_data"))
    print(dataset_dir)
    split_dir = os.path.abspath(os.path.join(BASE_DIR, "data", "rmb_split"))
    print(split_dir)
    train_dir = os.path.join(split_dir, "train")
    print(train_dir)
    valid_dir = os.path.join(split_dir, "valid")
    test_dir = os.path.join(split_dir, "test")
    if not os.path.exists(dataset_dir):
        raise Exception("\n{}不存在，请下载 02-01-数据-RMB_data.rar 放到\n{} 下，并解压即可".format(