将源数据集按照指定的比例划分为训练集（train）、验证集（val）和测试集（test）

这段Python代码定义了一个名为 data_set_split 的函数，其主要作用是将源数据集按照指定的比例划分为训练集（train）、验证集（val）和测试集（test），以便于后续的机器学习或深度学习训练和评估。。具体步骤如下：

1. 函数接受三个参数：src_data_folder（源数据集文件夹路径）、target_data_folder（目标文件夹路径，用于存放划分后的数据集）和 slice_data（一个列表，指定了训练集、验证集和测试集所占的比例）。

2. 函数首先打印“开始数据集划分”，然后读取 src_data_folder 中的所有类别名称（假设每个类别的图片存储在一个单独的文件夹中），并将它们存储在 class_names 列表中。

3. 在 target_data_folder 中创建三个子文件夹：train、val 和 test。如果这些文件夹已经存在，则不做任何操作；如果不存在，则创建它们。

4. 在 train、val 和 test 文件夹中，为每个类别创建一个子文件夹，文件夹名称与类别名称相同。

5. 对每个类别的图片进行遍历，首先获取该类别图片的完整路径，然后获取所有图片的列表。

6. 计算每个类别图片的总数，并创建一个索引列表 current_data_index_list，该列表包含从0到图片总数减1的所有整数。

7. 使用 random.shuffle 函数对索引列表进行随机打乱，以确保数据的随机性。

8. 根据 slice_data 中的比例，计算训练集、验证集和测试集的划分阈值 train_stop_flag 和 val_stop_flag。

9. 遍历打乱后的索引列表，根据当前索引值与划分阈值的关系，将图片复制到相应的文件夹中：

   • 如果索引值小于 train_stop_flag，则将图片复制到训练集文件夹。
   • 如果索引值在 train_stop_flag 和 val_stop_flag 之间，则将图片复制到验证集文件夹。
   • 如果索引值大于 val_stop_flag，则将图片复制到测试集文件夹。

10. 使用 time.sleep(1) 暂停1秒，以避免可能的文件访问冲突。

11. 打印每个类别的划分结果，包括类别名称、划分比例和每个数据集的图片数量。

在代码的最后，通过设置 src_data_folder 和 target_data_folder 的路径，调用 data_set_split 函数来执行数据集的划分。

import os
import random
from shutil import copy2
import time


def data_set_split(src_data_folder, target_data_folder, slice_data=[0.8, 0.1, 0.1]):
    '''
    读取源数据文件夹，生成划分好的文件夹，分为train、val、test三个文件夹进行
    :param src_data_folder: 数据集文件夹 r"xxx\datasets"
    :param target_data_folder: 目标文件夹 r"xxx\dataset_train_val_test"
    :param slice_data: 划分数据比例比例  训练 验证 测试所占百分比
    :return:
    '''
    print("开始数据集划分")
    class_names = os.listdir(src_data_folder)
    # 在目标目录下创建文件夹
    split_names = ['train', 'val', 'test']
    for split_name in split_names:
        split_path = os.path.join(target_data_folder, split_name)
        if os.path.isdir(split_path):
            pass
        else:
            os.mkdir(split_path)
        # 然后在split_path的目录下创建类别文件夹
        for class_name in class_names:
            class_split_path = os.path.join(split_path, class_name)
            if os.path.isdir(class_split_path):
                pass
            else:
                os.mkdir(class_split_path)

    # 按照比例划分数据集，并进行数据图片的复制
    # 首先进行分类遍历
    for class_name in class_names:
        current_class_data_path = os.path.join(src_data_folder, class_name)
        current_all_data = os.listdir(current_class_data_path)
        current_data_length = len(current_all_data)
        current_data_index_list = list(range(current_data_length))
        random.shuffle(current_data_index_list)

        train_folder = os.path.join(os.path.join(target_data_folder, 'train'), class_name)
        val_folder = os.path.join(os.path.join(target_data_folder, 'val'), class_name)
        test_folder = os.path.join(os.path.join(target_data_folder, 'test'), class_name)
        train_stop_flag = current_data_length * slice_data[0]
        val_stop_flag = current_data_length * (slice_data[0] + slice_data[1])
        current_idx = 0
        train_num = 0
        val_num = 0
        test_num = 0
        for i in current_data_index_list:
            src_img_path = os.path.join(current_class_data_path, current_all_data[i])
            if current_idx <= train_stop_flag:
                copy2(src_img_path, train_folder)
                # print("{}复制到了{}".format(src_img_path, train_folder))
                train_num = train_num + 1
            elif (current_idx > train_stop_flag) and (current_idx <= val_stop_flag):
                copy2(src_img_path, val_folder)
                # print("{}复制到了{}".format(src_img_path, val_folder))
                val_num = val_num + 1
            else:
                copy2(src_img_path, test_folder)
                # print("{}复制到了{}".format(src_img_path, test_folder))
                test_num = test_num + 1

            current_idx = current_idx + 1

        time.sleep(1)

        print("*********************************{}*************************************".format(class_name))
        print(
            "{}类按照{}：{}：{}的比例划分完成，一共{}张图片".format(class_name, slice_data[0], slice_data[1], slice_data[2],
                                                  current_data_length))
        print("训练集{}：{}张".format(train_folder, train_num))
        print("验证集{}：{}张".format(val_folder, val_num))
        print("测试集{}：{}张".format(test_folder, test_num))


if __name__ == '__main__':
    src_data_folder = r"xxx\datasets"
    target_data_folder = r"xxx\dataset_train_val_test"
    data_set_split(src_data_folder, target_data_folder, slice_data=[0.8, 0.1, 0.1])