成功解决模型训练时CPU占用高
强推文章 CPU,GPU利用率的各种问题
问题
网络训练时,我多开几个程序电脑就会卡,查看任务管理器发现CPU占用达到了将近70%,这里只介绍我在Windows系统训练时的问题。
之前看到将num_works放在if name == 'main’下可以设置更高,从而训练加速,于是我尝试后最多可以设置到4,当然训练确实变快了一些,但CPU实在是太忙了。同时我的显存占用不高,利用率也较低。
我的解决步骤
- 改变batchsize ,或者查看显存占用等先确认是否成功在GPU上训练;
- 减少I/O操作,我用了tensorboard打印每次迭代的损失,但注释掉发现影响不是很大;
- 尝试了设置pin_memory,训练更快但占用似乎更高了;
- 设置num_works为0,同时增大batchsize,成功解决,占用在将近40%左右,训练只慢了一点点
思考问题
在测试时会有warning 打印输出,不知道会不会影响模型训练速度;降低num_works时速度确实慢了一些,思考有没有其他合适方式降CPU的同时不降速度。思考是不是因为GPU运算太快了,CPU读取文件的速度跟不上,所以会一直忙碌,要从根本上提高速度,就得用合适的数据读取方式呢,朋友们有没有好办法?