python深度学习数据集划分详解

python深度学习数据集划分详解

import os
import random
import sys
import shutil
#abspath表示此时本文件所在的位置，dirname表示上级目录所在是位置
BASE_DIR=os.path.dirname(os.path.abspath(__file__))
print(BASE_DIR)
#如果我们创建的新路径不存在，则创建该路径
def makedir(new_dir):
    if not os.path.exists(new_dir):
        os.makedirs(new_dir)

if __name__=='__main__':
    #路径拼接，创建一系列文件夹
    dataset_dir = os.path.abspath(os.path.join(BASE_DIR,"data", "RMB_data"))
    print(dataset_dir)
    split_dir = os.path.abspath(os.path.join(BASE_DIR, "data", "rmb_split"))
    print(split_dir)
    train_dir = os.path.join(split_dir, "train")
    print(train_dir)
    valid_dir = os.path.join(split_dir, "valid")
    test_dir = os.path.join(split_dir, "test")
    if not os.path.exists(dataset_dir):
        raise Exception("\n{}不存在，请下载 02-01-数据-RMB_data.rar 放到\n{} 下，并解压即可".format(