在深度学习训练模型过程中,我们第一步就是要收集相应的数据集,之后我们就是要将数据划分为训练集train和验证集val,但是有时间我们时常面临数据量庞大的问题,手动划分显然是不现实的,因为太麻烦了,而且不具有固定规律的随机性。
但是python对文件和文件夹极其强大的操作性帮助我们解决了数据集划分的问题,本篇博客我们将开源数据集划分的代码,让我们学习如何使用python划分自己的数据集。且我们在程序中设置随机种子,确保每次从数据集中抽取图片划分数据集的时候都是随机的,且保留种子,整个过程可复制。
先简单讲解一下代码的使用方法,在博客的最后会附上完整的代码
data_path = './data'#数据集存放的地方,建议在程序所在的文件夹下新建一个data文件夹,将需要划分的数据集存放进去
data_root = './' #这里是生成的训练集和验证集所处的位置,这里设置的是在当前文件夹下。
主要在于这里,data_path,我在代码中设置的是在当前文件夹下新建一个data文件夹,将你需要划分的数据集放入data文件夹下,data_root,为我门划分完的训练集和验证集所放置的位置,我这里设置的是在当前文件夹下,我这里提到的当前文件夹下,就是与这个程序放置的位置一致的位置。