【MindSpore】DCPUE网络性能优化 -- GPU训练篇

问题描述

1. 训练条件：

    Linux Euler OS x86;
    8 显卡;
    物理 CPU 2;
    每个物理 CPU 中的核数 26;
    逻辑 CPU 104;
    MindSpore 1.2.0
    TensorFlow 1.15.0
   

   

2. GPU 训练时长

    MindSpore: 1:58
    TensorFlow: 1:04
   

3. 优化目的

   在相同条件下，使用 MindSpore 框架训练网络的时长 小于或等于 使用 TensorFlow 框架训练的时长

问题分析

1. 该网络为了防止过拟合，会基于同一模型同时训练多个神经网络。通过阅读代码，发现无论是 CPU 训练还是 GPU 训练，在训练多个神经网络时，会给每一个神经网络绑定一个逻辑 CPU 进行训练。

2. 监控 GPU 训练过程，发现训练时，被绑定的逻辑 CPU 资源占用率一直为100%，据此推测是网络训练过程中的一些与 CPU 有关的操作耗资源太大，导致训练总时长增加。

   

3. 关闭代码中，每个网络绑定一个逻辑 CPU 进