mxnet d多卡训练速度的一个问题

kvstore = ‘local’ #device

model.fit(train_dataiter,
begin_epoch = begin_epoch,
num_epoch = 999999,
eval_data = val_dataiter,
eval_metric = eval_metrics,
kvstore = kvstore,
https://discuss.gluon.ai/t/topic/9252 多卡的时候可以减少显存。单卡不行。 这个不是bug，只是在大规模模型并行的时候为了有效利用显存，会牺牲一点时间效率，因为要在cpu上更新。

但是多卡，local，速度更快每秒速度580sample，如果是device，速度只有250sample