深度学习GPU选择

先放总结

• 现在最好的 GPU：RTX 3080 和 RTX 3090。
• 对于个人来说，这些 GPU 不要买：任何 Tesla 卡、任何 Quadro 卡、任何「创始版」GPU，还有包括 Titan RTX 的所有型号泰坦。
• 性价比高，但比较贵的：RTX 3080。
• 性价比高，且较便宜的：RTX 3070 和 RTX 2060 Super。
• 还想再便宜点？推荐度依次递减：RTX 2070 ($400)、RTX 2060 ($300)、GTX 1070 ($220)、GTX 1070 Ti ($230)、GTX 1650 Super ($190) 和 GTX 980 Ti (6GB $150)。
• 什么也别说了，我没有钱：请使用各家云服务的免费额度，直到你买得起 GPU。
• 我要搞 Kaggle：RTX 3070。
• 我是一个高端的计算机视觉、预训练模型或者机器翻译研究人员：四块 RTX 3090 并联，但请等散热压得住的版本出现，而且也要考虑电源负载（作者还会继续更新这篇文章，可以等待未来的评测）。
• 我是普通 NLP 研究者：如果不研究机器翻译、语言模型、预训练等，一块 RTX 3080 应该就够了。
• 我要入门深度学习，不开玩笑：你可以从购买一块 RTX 3070 开始，如果半年之后仍然热情不减，你可以把 RTX 3070 出售，购买四块 RTX 3080。再远的未来，随着你选择路线不同，需求也会出现变化。
• 我想试试深度学习：RTX 2060 Super 非常出色，但你可能需要为它更换电源。如果你的主板有 PCIe×16 卡槽，电源有 300W，一块 GTX 1050Ti 是最适合的。
• 我们组要搭建一百块 GPU 的集群：66% 的八块 RTX 3080 并联和 33% 的八块 RTX 3090 并联是最好选择，但如果 RTX 3090 的冷却真的有问题，你可能需要买 RTX 3080 或 Tesla A100 作为代替。
• 128 块以上的 GPU 集群：在这个规模上，8 块成组的 Tesla A100 效率更高。如果超过 512 块 GPU，你应该使用 DGX A100 SuperPOD 系统。

如何选购显卡？

针对不同深度学习架构，GPU参数的选择优先级是不一样的，总体来说分两条路线：

卷积网络和Transformer：张量核心(GPU)>FLOPs（每秒浮点运算次数）>显存带宽>16位浮点计算能力

循环神经网络：显存带宽>16位浮点计算能力>张量核心(GPU)>FLOPs

GPU 性能排行

下面的基准测试不仅包括特斯拉A100 vs特斯拉V100基准测试，而且我构建了一个适合这些数据的模型，并基于Titan V、Titan RTX、RTX 2080 Ti和RTX 2080构建了四个不同的基准测试。

除此之外，我还缩放了中间卡片，如RTX 2070、RTX 2060或Quadro RTX 6000和8000卡片，通过插值这些基准数据点之间的数据点。通常，在架构内，gpu的规模与流多处理器和带宽是线性的，我的架构内模型就是基于此。

我只收集了混合精度FP16训练的基准数据，因为我认为没有很好的理由使用FP32训练。

每一美元能买到多少算力？

在相同的成本下，什么样的GPU能给你带来最好的效果?

GPU成本是GPU的亚马逊和eBay成本的平均值。对于新的Ampere gpus，我使用的只是发布价格。与上面的性能值一起，这将得到这些gpu系统的每美元性能值。对于8GPU系统，我使用了业界标准的RTX服务器作为基准成本。请注意，这些条形图并没有考虑内存需求。您应该首先考虑内存需求，然后在图表中寻找最佳选项。以下是一些关于记忆的粗略准则:

使用预训练 transformer 和从头训练小型 transformer：>= 11GB
训练大型 transformer 或卷积网络：>= 24 GB
原型神经网络（transformer 或卷及网络）：>= 10 GB
Kaggle比赛：>= 8 GB
应用计算机视觉：>= 10GB
视频神经网络：24GB

以 RTX 3080 为基准，各种 GPU 的每一美元性能排行（1-2 个 GPU）。

以 RTX 3080 为基准，各种 GPU 的每一美元性能排行（4 个 GPU）。

以 RTX 3080 为基准，各种 GPU 的每一美元性能排行（8 个 GPU）。

参考博客：
https://timdettmers.com/2020/09/07/which-gpu-for-deep-learning/
https://www.jiqizhixin.com/articles/2020-09-08-9