深度学习的完整硬件指南

原标题 | A Full Hardware Guide to Deep Learning

作者 | Tim Dettmers 

译者 | linlh、呀啦呼（Tufts University）、Ryan222（重庆邮电大学）

深度学习是非常消耗计算资源的，毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要？在构建深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。本文中我将一步一步教你如何使用低价的硬件构建一个高性能的系统。

这些年来，我总共搭建了7个不同的深度学习工作站，尽管经过了仔细的研究和推理，我在选择硬件时也犯了很多错误。在这篇文章中，我将分享我这些年的经验，帮助你避免同样的错误。

这篇博客的顺序是按照我犯错的严重程度编排的，所以我首先提到的是那些使人浪费最多钱的错误。

GPU

假设你将用GPU来进行深度学习或者你正在构建或者升级用于深度学习的系统，那么抛开GPU是不合理的。GPU是深度学习应用的心脏——训练过程速度的提升是非常的大的，不容忽视。

我在GPU推荐博客中对如何选择GPU讲的非常详细，如何选择GPU在深度学习系统中相当关键。在选择GPU时，你可能会犯这三个错误：（1）性价比不高，（2）内存不够大，（3）散热差。

性价比方面，我通常推荐 RTX 2070或者 RTX 2080 Ti。使用这些显卡的时候，你应该使用16位的模型，除此以外，eBay 的 GTX 1070， GTX 1080 和 GTX 1080 Ti 是非常好的选择，选择他们时，可以使用32位的模型，但不能是16位的模型。

在选择GPU时，要十分留意你的内存需求。在消耗同样内存的情况下，相比GTX，能跑16位模型的RTX能够训练2倍大小的模型。正是因为RTX有着内存优势，选择RTX、学习高效地使用16位模型，能够带给你更好的的使用体验。通常，对内存的要求大致如下：

• 追求最高水平分数的研究：>=11 GB

• 探寻有趣架构的研究：>=8 GB

• 其他的研究：8 GB

• Kaggle：4 – 8 GB

• 初学者：8 GB (但是要注意检查下应用领域的模型大小)

• 企业：8 GB 用于原型， >=11 GB 用于训练

在你买了多块RTX显卡时，需要留意散热问题。如果你想将 GPU 固定在彼此相邻的 PCIe 插槽中，应该确保使用带有鼓风机式风扇的 GPU。否则，您可能会遇到温度问题，并且您的 GPU 速度会变慢（约30％）并且损耗得更快。

找茬时间到！

你能否识别出因性能不佳而出现故障的硬件部分？是其中一个GPU？或者也许这是CPU的错？

RAM 

购买内存最大的错误就是买了主频太高的内存。第二个错误是没有购买足够大的内存，导致在原型构建上出问题。

需要的主频

主频是内存公司引诱你购买“更快”的内存的一种营销手段，实际上几乎没有产生任何性能的提升。这个关于RAM的视频很详细地解释了内存在Linux上的技术窍门：内存速度真的重要吗？

此外，重要的是要知道内存速度与快速CPU RAM-> GPU RAM传输几乎无关。这是因为（1）如果你使用固定内存（pinned memory），那么你的mini-batch会直接传输到GPU中而不需要CPU的干预，（2）如果你不使用固定内存的话，快的和慢的内存获得的性能差别只有0-3%——把你的钱花到别处去！

内存大小

内存大小不会影响到深度学习的性能。但是，它可能会阻碍你轻松执行