1. torch.utils.bottleneck模块
torch.utils.bottleneck可以用来检查深度学习模型中的运行时间,从而可以找到导致性能瓶颈的那些模块,并优化那些模块的运行时间,进而优化整个深度学习模型的性能。
例:
python -m torch.utils.bottleneck /path/to/source/script.py [args]
2. torch.utils.checkpoint模块
torch.checkpoint可以用来节约深度学习使用的内存。因为要进行梯度反传播,所以在构建计算图的时候需要保存中间的数据,而这数据大大增加了深度学习的内存消耗。我们可以通过该模块记录中间数据的计算过程,然后丢弃这些中间数据,等需要使用时再重新计算这些数据,这样就减少了内存消耗,进而可以提升深度学习模型的性能和优化时的稳定性。该模块设计的核心