Keras多gpu训练模型后权重文件无法在cpu或者单gpu机器使用的问题

hi我是大嘴巴

于 2019-06-12 11:02:16 发布

阅读量1.7k

点赞数

本文链接：https://blog.csdn.net/weixin_38740463/article/details/91491307

版权

Keras在多GPU训练时，由于层命名变化导致权重文件无法在CPU或单GPU机器上使用。错误源于multi_gpu_model()函数。解决办法是使用单GPU的保存接口。TensorFlow的多GPU训练原理是将数据分配到各GPU计算loss和gradient，再在CPU上求平均进行优化，主要提升batch的并行处理能力。

摘要由CSDN通过智能技术生成

本质：由于keras命名不一致导致的

原理：Keras版的训练它由多个输出支路，也就是多个loss，一般会给每个网络一个默认命名，在编译时通过命名寻找各层。

错误点:使用了keras.utils.training_utils.multi_gpu_model()后，名字发生了变化。因此，在预测时，keras寻找不到各层路径

由于使用了两个GPU，因此报期望两个权重信息，单只有0个

解决方法：

我们使用多GPUS训练接口，使用单GPU的保存接口

def get_model(input_shape):
.
.
.
return model
model = get_model(input_shape) #此时为单GPU 搭建的model

from keras.utils import multi_gpu_model
# Replicates `model` on 4 GPUs.
# This assumes that your machine has 4 available GPUs.
paralleled_model = multi_gpu_model(model, gpus=4) #将搭建的model复制到4个GPU中
# for train 
paralleled_model.compile(loss='categorical_crossentropy',
                       optimizer='adam')
model.save_weights("single_gpu_