1 学习DALI的优化方法:nvidia.dali.plugin.pytorch
2 使用amp
进行GPU运算优化(不开启)
关于torch.amp
的学习笔记,请参考博文《使用amp
进行GPU运算优化的学习笔记》
这里我们选择不开启amp
,因为目前torch.cuda.amp
十分不稳定,容易出现nan。
3 使用amp
和GradientAccumulation联合优化(不开启)
9.4 使用Colossal-AI进行显存优化
Colossal-AI repo: hpcaitech/ColossalAI
Colossal-AI具有下面的优点:
- 加快训练速度
- 提高显存利用率
目前其效果正在进行测试中,请参考《使用Colossal-AI进行优化的测试笔记》
9.5 使用composer进行算子优化(无效)
composer
的官方repo: mosaicml/composer
请参考《使用composer进行算子优化的测试笔记》