博客新址: http://blog.xuezhisd.top
邮箱:xuezhisd@126.com
性能
下面是一些技巧,以尽可能的获取MXNet的最佳性能。
数据
对于输入数据,需要注意以下内容:
- 数据格式。尽量使用
rec
格式。 - 解码。MXNet默认使用4个线程对图像进行解码。这对于每秒钟解码1000张图像来说,已经足够了。但如果你的CPU性能很差,或你的GPU性能很高,你可以增加线程数。
- 存储位置。任何的本地或分布式文件系统(HDFS, Amazon S3)都可以。但当多个设备同时从网络文件系统(NFS)读取数据时,就会出现问题。
- 使用较大的批。我们一般使用能填满GPU内存的最大批。如果批大小的值太大,会减慢收敛速度。例如,对于CIFAR10来说,安全的批大小大约为200;然而对于ImageNet1000来说,批大小的值可以超过1000。
后端
- 使用一个快速的线性代数计算库(BLAS):比如,openblas, atlas, 或 MKL。只有使用CPU时,这一条才是必要的。如果使用GPU的话,强烈建议使用 CUDNN。
- 如果使用多个GPU,选择合适的
kvstore
。需要更多信息,请查看 doc/developer-guide/multi_node.md。 - 对于单个设备,默认值
local
一般已经足够了。对于大于100 MB的网络模型,比如 AlexNet和VGG,你可能会希望使用local_allreduce_device
。local_allreduce_device
比其它设置获取更多的GPU内存。 - 对于多个设备,首先尝试使用
dist_sync
。如果模型非常大,或正在使用大量的设备,你可能会希望使用dist_async
。