Deep Learning炼丹经验总结——减少对设备性能消耗的方法
减少深度学习模型训练过程对设备的损耗1、调低batchsize2、控制一个任务只加载一个dataloader3、控制数据增强策略4、控制shuffle的位置5、调整Linux分区6、控制多线程7、旧版本cudnn8、换电脑吧近期在拿paddlepaddle跑知识蒸馏,这一块遇上了很多因为硬件限制导致出问题的地方,查资料的时候发现在其他框架也有类似的问题(溢出、进程出问题等),因此在这里对目前收集到的解决方案做一下小结。跑模型的时候很多人设备环境有限,公有GPU资源分配不上,多少求人不如求己,只能在自己电
原创
2021-07-26 12:53:05 ·
1109 阅读 ·
0 评论