split-folders 项目教程

split-folders 项目教程

split-folders🗂 Split folders with files (i.e. images) into training, validation and test (dataset) folders项目地址:https://gitcode.com/gh_mirrors/sp/split-folders

项目介绍

split-folders 是一个用于将包含文件（例如图像）的文件夹划分为训练集、验证集和测试集的 Python 库。这个工具特别适用于深度学习项目，其中数据集需要被划分为不同的部分以进行模型训练、验证和测试。

项目快速启动

安装

首先，你需要安装 split-folders 库。你可以使用 pip 来安装：

pip install split-folders

基本使用

以下是一个基本的示例，展示如何使用 split-folders 将文件夹中的图像划分为训练集、验证集和测试集：

import splitfolders

# 输入文件夹路径和输出文件夹路径
input_folder = 'path/to/input/folder'
output_folder = 'path/to/output/folder'

# 使用默认比例（80% 训练集，10% 验证集，10% 测试集）
splitfolders.ratio(input_folder, output=output_folder, seed=1337, ratio=(0.8, 0.1, 0.1))

应用案例和最佳实践

应用案例

假设你有一个包含多个类别的图像数据集，并且每个类别的样本数量不平衡。你可以使用 split-folders 来确保每个类别在训练集、验证集和测试集中都有适当的比例。

import splitfolders

# 输入文件夹路径和输出文件夹路径
input_folder = 'path/to/unbalanced/dataset'
output_folder = 'path/to/balanced/output/folder'

# 使用固定数量的样本进行划分
splitfolders.fixed(input_folder, output=output_folder, seed=1337, fixed=(100, 100), oversample=True)

最佳实践

1. 设置随机种子：为了确保结果的可重复性，建议设置一个固定的随机种子。
2. 处理不平衡数据集：使用 oversample=True 参数来对不平衡的数据集进行过采样。
3. 使用固定数量的样本：对于需要固定数量样本的场景，可以使用 fixed 函数。

典型生态项目

split-folders 通常与其他深度学习框架和工具一起使用，例如 TensorFlow 和 Keras。以下是一些典型的生态项目：

1. TensorFlow：用于构建和训练深度学习模型。
2. Keras：一个高级神经网络 API，能够运行在 TensorFlow 之上。
3. Pandas：用于数据处理和分析。
4. NumPy：用于科学计算的基础库。

这些工具和框架与 split-folders 结合使用，可以构建一个完整的数据处理和模型训练流程。

split-folders🗂 Split folders with files (i.e. images) into training, validation and test (dataset) folders项目地址:https://gitcode.com/gh_mirrors/sp/split-folders