dataloader numworkers

numworkers是加载数据的额外cpu数量(也可以看成额外的进程)(文末附图理解)。可以理解是:
dataset中的getitem只能得到单个数据, 而numworker设置后是同时加载numwork个数据到RAM中,当需要数据时,不会重新执行getiem的方法,而是直接从RAM取出即可(加快了速度)。

numwork 0 和 1 的区别:
在这里插入图片描述
为0的话:执行过程是:主进程取数据-》主进程执行程序-》主进程取数据-》
为1的话:执行过程是:额外进程取数据-》主进程执行程序 主进程执行程序的时候额外进程就可以加载数据了,执行完程序之后可以直接取数据再执行,加快速度。

batchsize 为 1 numworders为2
在这里插入图片描述
可以看出,并不是取一个数据就去执行程序,再取数据再执行(这是numworker)为0的情况。数字和损失会一一交替出现;
这里是:
首先取两个数据,然后执行程序,在执行程序的时候2个cpu核又去执行取数据操作,后面的执行程序和取数据是并行的。

batchsize1 num_workers为8
在这里插入图片描述
更加明显了:就是首先直接取八个数据,然后送一个进去执行程序,当一个程序没执行完时,其他线程又开始取数据了。相当于取数据对主要程序执行没有影响。

num_workers 为6
通过top命令ps可以查看系统进程情况:
在这里插入图片描述
可以的看到,其实他相当于同时使用了6个进程来执行这个python命令,也就是取数据的进程数量。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值