文章目录
本文着重于硬件方面的问题,代码方面的问题后续会讨论。
背景
多人使用一台服务器,常常会发生由于某个任务占用某个计算资源(cpu,gpu,内存,硬盘io等)过多,而导致其他任务由于该计算资源过少而训练速度过慢的问题
可能的瓶颈
本身训练代码(软件)可能的问题
- 有无多线程多进程输入。
- op操作是否有做gpu优化。
- 将数据集的预处理过程放入训练过程。
- 请参考学习tensorflow以及pytorch的performance guide。
服务器(硬件)的问题
- CPU使用。
- GPU使用。
- 内存使用。
- 硬盘使用等等。
硬件可能的问题
1.CPU
CPU的主要问题
-
pytorch以及tensorflow的多线程输入设定过大,一般推荐较大数据流4线程,较小2线程。具体问题具体分析,要看数据输入是否是训练速度优化的瓶颈。
-
numpy或者opencv等的多线程操作或者tensorflow以及pytorch在cpu运行上的op。这些模块使用OMP或者MKL进行多线程加速,一般默认为cpu线程总数的一半,十分浪费计算力,推荐使用4线程,详见下表。
解决方案
在python文件中加入
import os
os.environ["MKL_NUM_THREADS"] = '4'
os.environ["NUMEXPR_NUM_THREADS"] = 4'
os.environ["OMP_NUM_THREADS"] = '4'
置于顶部,并放在import numpy等的前面,提前声明全局环境变量。
2.GPU
GPU的主要问题
- 多任务单GPU,但这种情况在所难免。
gpu处理单元有限,多任务运行一个gpu减慢训练速度,详见下表。
3.硬盘io
硬盘io的主要问题
- 数据读写过慢,对于计算量小,输入大的模型尤甚。
- 训练中的数据处理方式存在大图切小图的步骤(比如模型输入为160x160, 训练读取1080p图片,再实时进行裁剪)。
解决方法
- 可以参考<查看硬盘io读写 百度搜索>查看哪些进程io读写过大导致整体硬盘读写速度变慢。
- 在训练前将大的图片裁剪好,训练时塞入小的图片,不过有可能会占大量硬盘空间。
4.内存
内存对于训练速度的影响
内存的主要问题
- 数据并不是实时地读入模型,而是将所有数据先读取到内存,再通过placeholder等方法读取。
- 忘记进行垃圾回收。
解决方法
- tensorflow的queue runner(python多线程)以及Data(C++多线程)以及tfrecord。
- pytorch的DataLoader.
- memory_profiler模快+gc模快.
总结
- Kunth大神说过的“过早的优化是万恶之源+寻找真正的瓶颈”。
- 纯属一点点实验性总结,希望能有一点点帮助。
- 思维导图