GPU上运行Mindspore程序出现OOM

问题描述：

能够在单张GPU上成功运行模型，但是在单机多卡训练时，保持batchsize不变，随着训练进行，会出现显卡内存不足的问题(OOM)

1、使用mpirun运行多卡训练，运行代码为

mpirun --allow-run-as-root -n $DEVICE_NUM python train_mindspore.py --config_path $CONFIG_PATH --device_num $DEVICE_NUM> train.log 2>&1 &

解答：

看日志执行的是PyNative模式，PyNative模式占用显存是比图模式会更多的，是否有试过图模式有问题吗？

context.set_context(mode=context.GRAPH_MODE)

1. 历史版本上ScatterNdUpdate这个算子有显存泄漏，可以确认下网络里是否有使用这个算子。 2. 如果没有使用的话，正常多卡训练比单卡训练也是会多占显存的，因为多卡会有通信算子导致显存峰值变大，具体多多少需要看网络模型大小。 3.如果单卡训练显存没有问题的话，多卡有问题，可以尝试下多卡训练下batch缩小点看下是否还有问题。