划分数据集并另存为新文件(python)

有些时候,我们有一个完整的数据集,可能包含有图像,标签等等。但是因为程序读取的需要,我们需要把这些数据集划分成训练集和测试集,并保存到其他路径。

test_size表示划分后测试集占比
random_state表示划分的随机数
dir_path是总文件夹,里面包含有许多子文件,这些子文件夹中包含我们需要划分的文件(比如图片,音频,txt文档等等)

dir_path
└───folder1
│   │   file011.txt
│   │   file012.txt
│   │ ...
└───folder2
│   │   file011.jpg
│   │   file012.jpg
│   │ ...
└───...

save_path是划分后的保存路径,里面包含train,test两个文件夹。
此外,save_path不需要人为建好,程序会自动创建。

from sklearn.model_selection import train_test_split
import os
import shutil

test_size=0.25
random_state=1
dir_path=r'all'
save_path=r'trainval'


def copy(source, target): # 复制粘贴文件source到target文件夹
    target_path = os.path.join(target, os.path.basename(source))
    shutil.copy(source, target_path)
def make(folder_path):
    if not os.path.exists(folder_path):  # 判断是否存在文件夹如果不存在则创建为文件夹
        os.makedirs(folder_path)

save_path_test=os.path.join(save_path,'test')
save_path_train=os.path.join(save_path,'train')
sub_dir_list=os.listdir(dir_path)
sub_dir_path_list=[os.path.join(dir_path,id) for id in sub_dir_list]
make(save_path)
make(save_path_train)
make(save_path_test)
for i in range(len(sub_dir_path_list)):
    image_list = os.listdir(sub_dir_path_list[i])
    save_path_test_subdir = os.path.join(save_path_test, sub_dir_list[i])
    save_path_train_subdir = os.path.join(save_path_train, sub_dir_list[i])
    make(save_path_test_subdir)
    make(save_path_train_subdir)

    images_train, images_test= train_test_split(image_list, test_size=test_size,random_state=random_state, shuffle=True)
    image_train_list=[os.path.join(sub_dir_path_list[i],id) for id in images_train]
    image_test_list = [os.path.join(sub_dir_path_list[i], id) for id in images_test]
    for j in range(len(image_train_list)):
        copy(image_train_list[j],save_path_train_subdir)
    for j in range(len(image_test_list)):
        copy(image_test_list[j],save_path_test_subdir)
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值