Keras并行训练

最新推荐文章于 2022-01-13 15:32:06 发布

呆坐的熊

最新推荐文章于 2022-01-13 15:32:06 发布

阅读量1.3k

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/Lin_RD/article/details/97675912

版权

Keras在TensorFlow后端默认支持GPU训练，只需定义模型并编译即可自动利用GPU。对于多GPU训练，可以使用`multi_gpu_model`进行数据并行，将每个batch均匀分配到各GPU上进行训练。另外，结构并行则涉及将模型的不同分支在不同设备上计算，再整合结果，这需要借助TensorFlow的低级API来实现。请注意，`compile`必须在模型定义后立即调用。

摘要由CSDN通过智能技术生成

Keras如果以Tensorflow作为后端，是自动支持GPU的。也就是说你只管定义模型，compile，fit。如果能检测到可用的GPU，就会自动跑在GPU上。

数据并行

如果要用多GPU训练，只需要用multi_gpu_model函数再包裹一下。具体如下

## 代码来自keras官方文档  网址 https://keras.io/getting-started/faq/#how-can-i-run-keras-on-gpu
from keras.utils import multi_gpu_model

# Replicates `model` on 8 GPUs.
# This assumes that your machine has 8 available GPUs.
# 返回一个并行模型
parallel_model = multi_gpu_model(model, gpus=8)
parallel_model.compile(loss='categorical_crossentropy',
                       optimizer='rmsprop')

# This `fit` call will be distributed on 8 GPUs.
# Since the batch size is 256, each GPU will process 32 samples.
parallel_model.fit(x, y, epochs=20, batch_size=256)

multi_gpu_model是数据并行方式，即将模型复制到各个GPU上，每个batch被均匀划分到各个GPU上训练，最后合并更新参数。
值得注意的是compile必须是模型定义的最后一步。