Deep Learning中如何选择GPU？（二）

最新推荐文章于 2025-01-03 19:43:15 发布

Redflashing

最新推荐文章于 2025-01-03 19:43:15 发布

阅读量1.5k

点赞数 1

分类专栏： Deep Learning深度学习笔记文章标签：机器学习 gpgpu nvidia 深度学习

本文链接：https://blog.csdn.net/weixin_42363722/article/details/115534639

版权

作者：Redflashing

深度学习通常需要大规模的计算需求，作为主要运算硬件的GPU的选择决定了深度学习的体验。但是如何去选择新的GPU，哪些GPU特性十分重要？GPU RAM，核心（Core）数量，张量核心（Tensor Core）数量？如何做出最具性价比的选择？本文通过深入探讨这些问题，主要针对Ampere系列显卡为选购适用于深度学习GPU的小伙伴们给出最合适的建议。

总结

避免在矿潮期间购置价格高昂的显卡。同样，在矿难后避免买到翻新矿卡
尽量避免使用笔记本进行深度学习训练，同种显卡型号下台式机和笔记本会有明显差距
总体最好的 GPU：RTX 3080 和 RTX 3090。
对于个人用户而言避免使用的 GPU： 任何 Tesla 卡；任何专业绘图显卡（如Quadro 卡）；任何 Founders Edition 卡；Titan RTX、Titan V、Titan XP，除此之外无Tensor Core（rtx20系显卡之前）的二手消费级显卡需要斟酌。
颇具成本效益而价格高昂：RTX 3080。
颇具成本效益而价格较便宜：RTX 3070、RTX 2060 Super。
预算不够的情况下： 购买二手卡，RTX 2070（400美元）、RTX 2060（300美元）、GTX 1070（220美元）、GTX 1070 Ti（230美元）、GTX 1650 Super（190美元）。
没钱： 百度的AI Studio ，Kaggle等均有免费GPU算力提供
Kaggle竞赛：RTX 3070
计算机视觉（CV）、预训练或机器翻译研究人员：4路RTX 3090（推荐涡轮显卡）。注意配备相应的大功率电源以及扇热设备
自然语言处理（NLP）研究人员： 如果不从事机器翻译、语言建模或任何类型的预训练工作，那么 RTX 3080 就足够了而且颇具性价比。
相关专业学生/从业者： 从一块 RTX 3070 开始。进一步学习，卖掉你的 RTX 3070，并购买多路RTX 3080。根据下一步选择的领域（初创公司、Kaggle、研究、深度学习应用），卖掉你的 GPU，三年后再买更合适的（下一代 RTX 40s GPU）。
尝鲜小白：RTX 2060 Super 就很好，但可能需要使用新电源。如果你的主板有一个 PCIe x16 插槽，并且有一个大约 300W 的电源，那么 GTX 1050 Ti 是一个很好的选择。
用于模型并行化的、少于 128 个 GPU 的 GPU 集群： 如果你可以为你的集群购买 RTX GPU：66% 的 8路RTX 3080 和 33% 的 8路RTX 3090（要确保能有效地冷却）。如果解决不了 RTX 3090 的冷却问题，那么可以购买 33% 的 RTX 6000 GPU 或 8路Tesla A100。如果不能购买 RTX GPU，那么可能会选择 8路A100 Supermicro 节点或 8路RTX 6000 节点。
用于模型并行化的、128 个 GPU 的 GPU 集群： 考虑下 8路Tesla A100 设置。如果你使用超过 512 个 GPU，那么你应该考虑配置一个 DGX A100 SuperPOD 系统，以匹配你的规模。

上一篇内容链接：Deep Learning中如何选择GPU？（一）

4.3. 散热问题

RTX 30 系列新的风扇设计包括一个鼓风扇和一个推挽式风扇。设计非常奇特，如果你的 GPU 之间有间隙，也会非常有效。然而，如果把 GPU 堆叠在一起，就不清楚它们表现怎么样了。鼓风扇的设计和以前不同。在应该 4 PCIe 的插槽中，如果你想购买 1 到 2 个 GPU，应该没什么问题。然而，如果打算使用 3 到 4 个 RTX 30 系 GPU，那么需要去参考各类的散热报告，这里就不再进行赘述。

为了克服散热问题，水冷在任何情况下都可以提供一个解决方案。许多非公版显卡也提供了 3080/RTX 3090 的水冷模块，即使在 4 路 GPU 设置中也能保持低温。如果有 4 路 GPU 深度学习工作站的需求，可以留心一体化水冷却解决方案。

另一个解决方案就是购买 PCIe 扩展器，并将 GPU 在机箱内分散开。这非常有效，例如，如果台式电脑机箱中有足够的空间，那么就可以购买标准 3 槽宽的 RTX 3090，并在机箱中使用 PCIe 扩展器来把它们分散开。这样就通过一个简单的解决方案解决了 4 路 RTX 3090 设置中的空间问题和冷却问题。