深度学习篇之数据集划分方法-附代码python详细注释

本博客介绍如何使用Python高效地将数据集划分为训练集和验证集,通过设置随机种子确保过程可复制。文章提供了一段详细注释的代码,用于在当前文件夹下创建data文件夹,放置数据集,并自动生成train和val文件夹,按指定比例划分数据。读者可下载代码链接进行实践。
摘要由CSDN通过智能技术生成

在深度学习训练模型过程中,我们第一步就是要收集相应的数据集,之后我们就是要将数据划分为训练集train和验证集val,但是有时间我们时常面临数据量庞大的问题,手动划分显然是不现实的,因为太麻烦了,而且不具有固定规律的随机性。

但是python对文件和文件夹极其强大的操作性帮助我们解决了数据集划分的问题,本篇博客我们将开源数据集划分的代码,让我们学习如何使用python划分自己的数据集。且我们在程序中设置随机种子,确保每次从数据集中抽取图片划分数据集的时候都是随机的,且保留种子,整个过程可复制。

先简单讲解一下代码的使用方法,在博客的最后会附上完整的代码

data_path = './data'#数据集存放的地方,建议在程序所在的文件夹下新建一个data文件夹,将需要划分的数据集存放进去
data_root = './'  #这里是生成的训练集和验证集所处的位置,这里设置的是在当前文件夹下。

 主要在于这里,data_path,我在代码中设置的是在当前文件夹下新建一个data文件夹,将你需要划分的数据集放入data文件夹下,data_root,为我门划分完的训练集和验证集所放置的位置,我这里设置的是在当前文件夹下,我这里提到的当前文件夹下,就是与这个程序放置的位置一致的位置。

  • 11
    点赞
  • 61
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小馨馨的小翟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值