tensorflow2.x学习笔记十二：使用多GPU训练模型

一、前言

如果使用多GPU训练模型，推荐使用内置fit方法，较为方便，仅需添加2行代码。

MirroredStrategy过程简介：

• 训练开始前，该策略在所有 N 个计算设备上均各复制一份完整的模型；
• 每次训练传入一个批次的数据时，将数据分成 N 份，分别传入 N 个计算设备（即数据并行）；
• N 个计算设备使用本地变量（镜像变量）分别计算自己所获得的部分数据的梯度；
• 使用分布式计算的 All-reduce操作，在计算设备间高效交换梯度数据并进行求和，使得最终每个设备都有了所有设备的梯度之和；
• 使用梯度求和的结果更新本地变量（镜像变量）；
• 当所有设备均更新本地变量后，进行下一轮训练（即该并行策略是同步的）。

首选说明一下，我们在下面会使用两个逻辑GPU来模拟多GPU

import tensorflow as tf
print(tf.__version__)
from