torch.backends.cudnn.benchmark有什么用?
torch.backends.cudnn.benchmark有什么用?针对网络模型固定、输入参数固定的场景,将上述变量设置为True可以增加训练效率。cuDNN是英伟达为深度神经网络(DNN)设计的GPU加速库,针对卷积等操作进行了很多优化,Pytorch等深度学习框架会使用cuDNN加速。卷积有多种实现方式,每种卷积算法都有特定的优势。一种简单的优化方式是针对神经网络中不同的层使用不同的卷积实现方式。决定了每层最快的实现方式后,在运行整个网络就会提升算法效率。将上面的值设置为True,Pytorc
原创
2022-03-25 15:33:35 ·
4117 阅读 ·
0 评论