文章探讨了在设置多进程(num_workers)时，如何找到最佳值以提升训练效率。作者发现num_workers并非越大越好，特别是在batch_size较小的情况下，过多的进程反而会增加开销，导致训练时间延长。对于拥有I9-13900KCPU的用户，推荐参考文章中的建议进行设置，如根据batch_size调整到8或更少以节省时间。
如何确定最佳的num_workers, 请看代码：
nw = min([os.cpu_count(), args.batch_size if args.batch_size > 1 else 0, 8]) # number of workers亲测，num_workers这样设置可以节省很多训练时间。本人的cpu是i9-13900k, 按理可以将num_workers拉到20以上，但是通过实验证明，num_workers的设置不是越大越好。设置的大反而会拖慢训练，我按照上面的设置，一个epoch跑59s，如果设置为20，反而训练了90s，这相差还是蛮大的！我觉得应该是因为我的batchsize比较小，设置那么多进程数反而是加大开销！
2898
1万+
4102
5506
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
