Keras 多GPU下模型和参数保存Modelcheckpoint callback报错问题以及在单GPU/CPU下载入

保存

---

多GPU下无法直接保存多GPU模型结构和参数，而应该使用template model进行保存

keras文档：To save the multi-gpu model, use .save(fname) or .save_weights(fname) with the template model (the argument you passed to multi_gpu_model), rather than the model returned by multi_gpu_model.

model = get_model()
paralleled_model=multi_gpu_model(model1,gpus=num_gpu)
paralleled_model.compile()
paralleled_model.fit()
model.save() # 用template model 保存参数

Modelcheckpoint callback 报错
Modelchecpoint callback函数无法调用也是因为保存时调用的是paralleled_model.save()导致的。
解决方法一：在modelcheckpoint里参数加上save_weights_only=True后，只会保存模型权重，但是保存的模型只能在同样数量的GPU上载入，而没办法再单GPU下载入。

解决方法二：自定义Callback函数，将callback函数中的paralle model 置为 template model

class ParallelModelCheckpoint(ModelCheckpoint):
    def __init__(self,model,filepath, monitor='val_loss', verbose=0,
                 save_best_only=False, save_weights_only=False,
                 mode='auto', period=1):
        self.single_model = model
        super(ParallelModelCheckpoint,self).__init__(filepath, monitor, verbose,save_best_only, save_weights_only,mode, period)

    def set_model(self, model):
        super(ParallelModelCheckpoint,self).set_model(self.single_model)

check_point = ParallelModelCheckpoint(single_model ,'best.hd5')

载入

---

多GPU下保存的权重无法在单GPU/CPU下运行，预测时可以创建多GPU模型后先导入多GPU的权重而用template model 进行predict：

model = get_model()
paralleled_model=multi_gpu_model(model,gpus=num_gpu)
paralleled_model.load_weights("weights_multi_gpu.h5") # 此时model也自动载入了权重，可用model进行预测
model.predict()