基于pytorch框架使用多gpu训练时,如何有效降低显存
基于pytorch框架使用多gpu训练时,如何有效降低显存
文章目录基于pytorch框架使用多gpu训练时,如何有效降低显存1. 问题阐述2. 解决方案2.1 周期性使用`torch.cuda.empty_cache()`函数2.2 将loss的计算写入网络的`forward()`函数中2.3 采用`del()`函数及时删除创建的中间变量或无用的临时变量2.4 使用relu激活函数时,记得将in...
原创
2019-05-15 16:49:13 ·
2433 阅读 ·
0 评论