2020 年深度学习最佳 GPU 一览，这篇 GPU 最全攻略请查收！

最新推荐文章于 2022-08-17 14:56:59 发布

Mr.Jk.Zhang

最新推荐文章于 2022-08-17 14:56:59 发布

阅读量5.1k

点赞数 5

分类专栏：计算机视觉深度学习

本文链接：https://blog.csdn.net/mrjkzhangma/article/details/105054680

版权

52 篇文章 10 订阅

订阅专栏

43 篇文章 15 订阅

订阅专栏

深度学习模型越来越强大的同时，也占用了更多的内存空间，但是许多GPU却并没有足够的VRAM来训练它们。

那么如果你准备进入深度学习，什么样的GPU才是最合适的呢？下面列出了一些适合进行深度学习模型训练的GPU，并将它们进行了横向比较，一起来看看吧！

太长不看版

截至2020年2月，以下GPU可以训练所有当今语言和图像模型：

以下GPU可以训练大多数（但不是全部）模型：

以下GPU不适合用于训练现在模型：

在这个GPU上进行训练需要相对较小的batch size，模型的分布近似会受到影响，从而模型精度可能会较低。图像模型内存不足之前的最大批处理大小：

*表示GPU没有足够的内存来运行模型。性能（以每秒处理的图像为单位）：

*表示GPU没有足够的内存来运行模型。语言模型内存不足之前的最大批处理大小：

*表示GPU没有足够的内存来运行模型。性能：

语言模型

语言模型比图像模型受益于更大的GPU内存。 注意右图的曲线比左图更陡。这表明语言模型受内存大小限制更大，而图像模型受计算力限制更大。
具有较大VRAM的GPU具有更好的性能，因为使用较大的批处理大小有助于使CUDA内核饱和。
具有更高VRAM的GPU可按比例实现更大的批处理大小。 只懂小学数学的人都知道这很合理：拥有24 GB VRAM的GPU可以比具有8 GB VRAM的GPU容纳3倍大的批次。
比起其他模型来说，长序列语言模型不成比例地占用大量的内存，因为注意力（attention）是序列长度的二次项。

GPU购买建议

附注图像模型：

语言模型：

卷积网络（CNN），递归网络（RNN）和transformer的归一化性能/成本数（越高越好）。RTX 2060的成本效率是Tesla V100的5倍以上。对于长度小于100的短序列，Word RNN表示biLSTM。使用PyTorch 1.0.1和CUDA 10进行基准测试。

从这些数据可以看出，RTX 2060比RTX 2070，RTX 2080或RTX 2080 Ti具有更高的成本效益。原因是使用Tensor Cores进行16位计算的能力比仅仅拥有更多Tensor Cores内核要有价值得多。

关注

专栏目录