【PyTorch】性能优化的学习笔记

1 学习DALI的优化方法：nvidia.dali.plugin.pytorch

2 使用amp进行GPU运算优化（不开启）

关于torch.amp的学习笔记，请参考博文《使用amp进行GPU运算优化的学习笔记》
这里我们选择不开启amp，因为目前torch.cuda.amp十分不稳定，容易出现nan。

3 使用amp和GradientAccumulation联合优化（不开启）

请参考博文《使用amp进行GPU运算优化的学习笔记》

9.4 使用Colossal-AI进行显存优化

Colossal-AI repo: hpcaitech/ColossalAI
Colossal-AI具有下面的优点：

1. 加快训练速度
2. 提高显存利用率

目前其效果正在进行测试中，请参考《使用Colossal-AI进行优化的测试笔记》

9.5 使用composer进行算子优化（无效）

composer的官方repo: mosaicml/composer
请参考《使用composer进行算子优化的测试笔记》