python抽取一定比例数据_python批量将数据集按比例分成训练集和验证集

深度学习实验中，为了更好的评估模型性能，往往需要从原始训练数据集中取出一部分作为验证集，完全不参与模型的训练。该代码将实现从一批图像数据集文件夹中，按照比例随机取出一部分数据作为验证集数据。

下图是本例子的文件夹结构，原来train文件夹下是5个以图像类别命名的文件夹，各个子文件夹是图像样本，需要建立一个val文件夹用来存放取出的图像数据，val文件夹下的子文件夹运行代码时候会自动创建。

代码如下，使用时候就修改文件夹路径，和所需的ratio值就行。

【代码更新于-2020.6.10，解决了之前子文件夹不能自动创建的问题】

# coding=utf-8

import os, random, shutil

def moveFile(fileDir):

pathDir = os.listdir(fileDir) # 取图片的原始路径

filenumber = len(pathDir)

picknumber = int(filenumber * ratio) # 按照rate比例从文件夹中取一定数量图片

sample = random.sample(pathDir, picknumber) # 随机选取picknumber数量的样本图片

for name in sample:

shutil.move(os.path.join(fileDir, name), os.path.join(tarDir, name))

return

if __name__ == '__main__':

ori_path = 'C:\\