【Pytorch】torch.backends.cudnn.benchmark 作用

小丫么小阿豪

已于 2022-04-05 16:49:10 修改

阅读量1.6k

点赞数

分类专栏： Pytorch 文章标签： python 计算机视觉深度学习 pytorch

于 2022-04-05 16:14:47 首次发布

本文链接：https://blog.csdn.net/qq_43426078/article/details/123971275

版权

Pytorch 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

作用

针对你当前的硬件，找到最合适的算法。（注意，很多代码里会有import torch.backends.cudnn as cudann，所以其实torch.backends.cudnn.benchmark和cudnn.benchmark是一回事）

使用注意事项

It enables benchmark mode in cudnn.
benchmark mode is good whenever your input sizes for your network do not vary. This way, cudnn will look for the optimal set of algorithms for that particular configuration (which takes some time). This usually leads to faster runtime.
But if your input sizes changes at each iteration, then cudnn will benchmark every time a new size appears, possibly leading to worse runtime performances.
翻译过来就是：当你网络的输入大小不变时，torch.backends.cudnn.benchmark = True可以让你的网络跑得更快。但是如果你网络的输入大小在变化，torch.backends.cudnn.benchmark = True反而会让你的网络跑得更慢，因为每次改变输入大小都会计算一次。