跑深度模型的显卡_不止显卡！这些硬件因素也影响着你的深度学习模型性能

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~

作者：Justin ho

来源：https://zhuanlan.zhihu.com/p/67785062

本文已经作者授权，转载请联系原作者

程序员之于计算机就相当于赛车手对待跑车一样，必须十分熟悉它的每一个部件，明白各自的用途，然后在每一次调教当中充分发挥各部分的潜力，最终才能爆发出最大的性能。本次分享以图像任务训练为例，将从cpu、内存、硬盘、显卡这些方面对算法性能的影响进行逐一分析，配合相应的实验，给出相应的优化建议。笔者为图像算法工程师，因此下面均以图像数据为例，但无需任何图像算法的前置知识，大概只要写过代码的都能理解(首先感谢 老狼 的技术支持，给出了宝贵的建议)。

• 老狼 链接：

  https://www.zhihu.com/people/mikewolfwoo/activities

数据流动路径

假设我们现在有一批图片集放在硬盘当中，待读取进内存送入GPU运算，那么一般会经历以下流程：

1. cpu发出读取指令，从硬盘中找到图片数据，并存到内存中；

2. cpu从内存中取出一批数据，转化为numpy array，并作数据预处理/增强操作，如翻转、平移、颜色变换等。处理完毕后送回内存。

3. cpu内存(后面简称内存)和gpu内存(后面简称显存)各开辟一块缓冲区，内存中的一个batch的数据通过PCIe通道传输到显存当中。

4. GPU核心从显存中获取数据进行并行计算，计算结果返回至显存中。

5. 计算好的结果将从显存经过PCIe通道返回到内存。

这5个步骤涉及到几个影响数据传输速度的环节：

1. 硬盘读取速度；

2. PCIe传输速度；

3. 内存读写速度；

4. cpu频率。

我们首先来说说硬盘。

硬盘

intel 900P

在深度学习模型进行训练前，往往需要从本地硬盘读取数据到内存，并做一些预处理，硬盘读取速度会极大影响训练的效率。如果读取速度快，送进GPU的数据多，GPU的利用率就越高。当然提高数据传送效率除了有硬件的部分也有软件的部分，我们先来讨论硬件方面的影响。而目前市售硬盘有机械硬盘和固态硬盘两种，固态硬盘根据接口分为sata、M.2 NVME、PCIe三种。笔者个人电脑上有两种硬盘，分别是希捷酷鱼2T机械硬盘和三星860evo 500GB固态硬盘，我们使用kaggle著名数据集dogs_cats_redux，从两个硬盘中分别测试数据读取的速度。

测试条件：

cpu：i7 8700k (6C 12T @4.7GHz)

内存：64GB

固态：三星860evo 500GB

机械：希捷酷鱼2T

显卡