问题描述
1.执行单机多卡脚本后,程序看起来更像是在四张卡上跑,之间毫无关联。正常应该是怎样的?
2.在单机多卡数据并行的情况下,用model.fit()进行模型训练,会自动将梯度聚合吗?还是说,单机多卡的情况不支持使用fit()边训练边验证
解决方案
1. 可以参考下我们的分布式并行相关的资料https://www.mindspore.cn/tutorials/experts/zh-CN/r2.3.0rc2/parallel/overview.html
2. 支持在多卡使用,详询mindspore官网文档