关于GPU（二）

深度学习硬件环境的搭建和配置选择

在硬件环境的选择上，并不是一定选择最贵的就会有最好的效果，很多时候可能付出了2倍的成本，但是性能的提升却只有10%。深度学习的计算环境对不同部件的要求不同，因此这里先简要讨论一下硬件的合理搭配。
另外，虽然目前有一些云服务供应商提供GPU计算能力，并且一键部署，听起来不错，但是基于云计算的GPU实例受到两个限制：
首先，普通的廉价GPU实例内存稍小，比如AWS的G2实例目前只支持单GPU 4GB的显存；
其次，支持较大显存的实例费用比较高，性价比不高。比如AWS的P2实例使用支持每GPU12GB内存的K80 GPU，每小时费用高达0.9美元。但是K80 GPU属于Kepler架构，是两代前的技术。
另外，在实际使用中需要开启其他服务以使用GPU实例，各种成本加起来每月的开支还是很可观的，很可能6个月的总开支够买一台配置较新GPU的全新电脑了。在搭配深度学习机器而选择硬件的时候，通常要考虑以下几个因素。
（1）预算。 这个非常重要。如果预算足够，当然可以秉承最贵的就是最好的理念来选
择。但是当预算有一定限制的时候，如何搭配部件来最大化性能，尽量减少瓶颈就是很重要的考
量了。
（2）空间。 这里特指机箱的空间。大部分新的GPU都是双风扇的，因此对机箱尺寸要求很高。如果你已经有一个机箱了，那么选择合适尺寸的GPU就成为最优先的考虑；如果新配机箱，那么全尺寸的大机箱是最好的选择。这是因为大机箱通风好，同时可以为以后添加多个GPU进行升级留有余地；另外，大机箱通常有多个PCIe的背板插槽可以放置多个PCIe设备。一般现在的GPU卡都会占据两个PCIe的插槽空间，因此背板插槽越多越好。
（3）能耗。 性能越好的GPU对能源的要求越高，而且很可能是整个系统里能耗最高的部件。如果已经有一台机器了，只是要添加一个GPU来做学习用，那么选择性能一般但是能耗低的GPU卡是比较明智的；如果需要高密度计算，搭配多个GPU并行处理，那么对电源的要求非常高，一般来说，搭配4GPU卡的系统至少需要1600W的电源。
（4）主板。 对主板的选择非常重要，因为涉及跟GPU的接口选择。一般来说，至少需要一块支持PCIe3.0接口的主板。如果以后要升级系统到多个GPU，那么还需要支持8+16芯PCIe电源接口的主板，这样可以连接最多4个GPU进行SLI并联。对于4个GPU这个限制，是因为目前最好的主板也只支持最多40条PCIe通道（16x，8x，8x，8x的配置）。多个GPU并行加速比并不能达到完美，毕竟还是有些额外开销的。比如系统需要决定在哪个GPU上进行这个数据块对应的计算任务。我们后面会提到，CNTK计算引擎的并行加速性很好，在使用多个GPU时值得考虑。
（5）CPU。 CPU在深度学习计算中的作用不是非常显著的，除非使用CPU进行深度学习算法的计算。因此如果你已经有一台电脑的话，就不用太纠结是否要升级CPU了；但是如果要新搭建系统，那么CPU的选择上还是有些考量的，这样可以使系统利用GPU的能力最大化。首先要选择一个支持40条PCIe通道的CPU。不是所有的CPU都支持这么多的PCIe通道，比如haswell核心的i5系列CPU就支持最多32条通道。其次要选择一个高频率的CPU。虽然系统使用GPU做具体的计算，但是在准备模型阶段CPU还是有重要作用的，因此选择使用在预算内主频高、速度快的CPU还是比较重要的。CPU的核心数量不是一个很重要的指标，一般来说，一个CPU核心可以支持一块GPU卡。按照这个标准，大部分现代的CPU都是合格的。
（6）内存。 内存容量还是越大越好，以减少数据提取的时间，加快和GPU的交换。一般原则是按照GPU内存容量的至少两倍来配置主机内存。
（7）存储系统。 对于存储系统的能力，除要容量大以外，