pytorch之cudnn.benchmark和cudnn.deterministic
问题
在很多情况下我们都能看到代码里有这样一行:
torch.backends.cudnn.benchmark = true
而且大家都说这样可以增加程序的运行效率。那到底有没有这样的效果,或者什么情况下应该这样做呢?
解决办法
总的来说,大部分情况下,设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法,来达到优化运行效率的问题。
一般来讲,应该遵循以下准则:
如果网络的输入数据维度或类型上变化不大,设置 torch.backends.cudnn.
转载
2020-06-21 23:41:34 ·
755 阅读 ·
0 评论