随机按比例划分数据集

目录

前言：

一、目标检测中随机划分训练集与验证集

---

前言：

在目标检测中，有时需要提前划分数据集，这样才能保证团队中使用同样的数据集进行训练测试，但是随机划分的话，每个人都会不一样？

目前我也不知道怎么解决，或许是添加随机种子？——这种方法方法确实可行。

一、目标检测中随机划分训练集与验证集

在目标检测里面，不仅包含图片文件还包含标注文件，所以要一起选择对应的也得一起分离开。

下面的代码可以处理xml文件也可以处理txt文件。

"""
picture_process.py
此脚本用于从以文件夹中按照百分比抽取一定比例的jpg文件以及对应的xml文件
把数据集按比例分成训练集，测试集
"""

import glob
import os
import shutil
import random

file_path = r'F:\新奥新智\Python-Code\python脚本\txt文件'
save_path = os.path.join(file_path,'select')
if not os.path.exists(save_path):
    os.makedirs(save_path)

filenames = []

for pathAndFilename in glob.iglob(os.path.join(file_path, '*.jpg')):#遍历所有的jpg文件
    filenames.append(pathAndFilename)

test_ratio = 0.3
filenum = len(filenames)


random.seed(1)
num_test = int(filenum * test_ratio)
sample_train = random.sample(filenames, num_test)

for name in sample_train:
    shutil.move(os.path.join(file_path,name), save_path)
    shutil.move(os.path.join(file_path,name).replace('.jpg', '.txt'), save_path)