博客新址: http://blog.xuezhisd.top
邮箱:xuezhisd@126.com
环境变量
环境可以修改MXNet的一些设置。一般情况下,你不需要修改这些设置。本节将它们罗列出来,用于参考。
设置线程数目
- MXNET_GPU_WORKER_NTHREADS (默认值=2)
- 每个GPU上,进行计算的最大线程数
- MXNET_GPU_COPY_NTHREADS (默认值=1)
- 每个GPU上,内存复制的最大线程数
- MXNET_CPU_WORKER_NTHREADS (默认值=1)
- CPU上的计算任务的最大线程数
- MXNET_CPU_PRIORITY_NTHREADS (默认值=4)
- 优先的CPU任务的线程数
内存选项
- MXNET_EXEC_ENABLE_INPLACE (默认值=true)
- 在符号计算中,是否使用原地(计算)优化。
- MXNET_EXEC_MATCH_RANGE (默认值=10)
- 符号计算内存分配器中的粗略匹配规模
- 如果不想使用(图的)节点间共享内存(用于调试时),可以将该环境变量设置为0。
- MXNET_EXEC_NUM_TEMP (默认值=1)
- 每个设备上分配的临时工作空间的最大数目
- 将它设置成比较小的数字,可以节省GPU内存。它也可能会降低并行度,但这通常是可接受的。
- MXNET_GPU_MEM_POOL_RESERVE (默认值=5)
- 分配给非GPU数组的GPU内存的比例,比如内核启动器或cudnn句柄空间。
- 如果在迭代多次之后,看到一个来自内核启动器的内存溢出错误,尝试增大该环境变量的值。
Engine Type
- MXNET_ENGINE_TYPE (默认值=ThreadedEnginePerDevice)
- MXNet的实质执行引擎的类型。
- 可选值:
- NaiveEngine: 非常简单的引擎,使用主线程来计算。
- ThreadedEngine: 使用全局线程池来调度作业。
- ThreadedEnginePerDevice: 每个GPU上分配线程。
控制数据通信
- MXNET_KVSTORE_REDUCTION_NTHREADS (默认值=4)
- 用于大数组求和的CPU线程数
- MXNET_KVSTORE_BIGARRAY_BOUND (默认值=1e6)
- 大数组的最小尺寸
- 当数组的容量大于该阈值时,将使用线程
MXNET_KVSTORE_REDUCTION_NTHREADS
进行规约。
- MXNET_ENABLE_GPU_P2P (默认值=1)
- 如果为True,MXNet尝试使用GPU的 peer-to-peer 通信(前提是P2P可用),当 kvstore 的类型是
device
时。
- 如果为True,MXNet尝试使用GPU的 peer-to-peer 通信(前提是P2P可用),当 kvstore 的类型是
Memonger
- MXNET_BACKWARD_DO_MIRROR (默认值=0)
- 在训练过程中,是否执行
mirror
以节省设备存储。 - 当设置成1时,在前向传播过程中,图计算器将会对一些层的特征图进行
mirror
操作,并抛弃它们;但当需要时,会重新计算这些抛弃的特征图。MXNET_BACKWARD_DO_MIRROR=1
时,将会节省 30%~50% 的设备内存,同时保持 95% 的运行速度。 - 在MXNet中,
mirror
的一个拓展叫做 memonger technology,它可以在保持75%运行速度的同时节省 O(sqrt(N)) 内存。
- 在训练过程中,是否执行
其它环境变量
- MXNET_CUDNN_AUTOTUNE_DEFAULT (默认值=0)
- 用于卷积层的cudnn_tune的默认值。
- Auto tuning 默认是关闭的。For benchmarking, set this to 1 to turn it on by default.
设置最小内存使用
- 务必确保
min(MXNET_EXEC_NUM_TEMP, MXNET_GPU_WORKER_NTHREADS) = 1
- 默认设置满足这个条件。
设置更多的GPU并行
- 将
MXNET_GPU_WORKER_NTHREADS
设置成一个较大的数(比如 2)- 为了减少内存的使用,考虑设置
MXNET_EXEC_NUM_TEMP
- 为了减少内存的使用,考虑设置
- 这可能不会加速,尤其是图像任务。因为GPU通常会被充分利用(甚至在序列化作业中)。