Tensorflow2——模型的保存和恢复

1、保存整个模型

1）整个模型保存到一个文件中，其中包含权重值，模型配置以及优化器的配置，这样，您就可以为模型设置检查点，并稍后从完全相同的状态进行训练，而无需访问原始代码
2）在keras中保存完全可以正常的使用模型非常有用，您可以在tensorflow.js中加载他们，然后在网络浏览器中训练和运行它们
3）keras中使用HDF5标准提供基本的保存格式

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

(train_image,train_label),(test_image,test_label)=tf.keras.datasets.fashion_mnist.load_data()

train_image=train_image/255
test_image=test_image/255

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.fit(train_image,train_label,epochs=3)
#模型的评估
model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]
#把整个模型保存到当前目录下
model.save("less_model.h5")

如何去使用保存好的模型呢？

new_model=tf.keras.models.load_model("less_model.h5")   
#既保存了模型的框架，也保存了模型的权重

new_model.summary()

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
flatten (Flatten)            (None, 784)               0         
_________________________________________________________________
dense (Dense)                (None, 128)               100480    
_________________________________________________________________
dense_1 (Dense)              (None, 10)                1290      
=================================================================
Total params: 101,770
Trainable params: 101,770
Non-trainable params: 0
_________________________________________________________________

new_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

2、仅仅保存模型的架构（框架）

有时候我们只对模型的架构感兴趣，而无需保存权重值或者是优化器，在这种情况下，可以仅仅保存模型的配置

模型的整体的架构情况，返回一个json数据，就是一个模型的架构

json_config=model.to_json()

#重建这个模型
reinitialized_model=tf.keras.models.model_from_json(json_config)

reinitialized_model.summary()

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
flatten (Flatten)            (None, 784)               0         
_________________________________________________________________
dense (Dense)                (None, 128)               100480    
_________________________________________________________________
dense_1 (Dense)              (None, 10)                1290      
=================================================================
Total params: 101,770
Trainable params: 101,770
Non-trainable params: 0
_________________________________________________________________

reinitialized_model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[2.3029253482818604, 0.09950000047683716]

由上可知，网络并没有保存模型的整个配置，也就是他的权重，只是保存了网络的架构

3、仅仅保存模型的权重

时候我们只需要保存模型的状态（其权重值），而对模型的架构不感兴趣，在这种情况下，可以通过get_weights()来获取权重值，并通过set_weights()设置权重值

weight=model.get_weights()    
#这里保存的权重是一个arrray,不好保存在磁盘上
reinitialized_model.set_weights(weight)   
#给之前没有训练的模型加载权重
reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

所谓保存在磁盘上的权重就是开机了之后能够直接调用的权重

model.save_weights("less_weight.h5")   
#直接保存在我们的磁盘上的权重
reinitialized_model.load_weights("less_weight.h5")   
#从磁盘上加载权重
reinitialized_model.evaluate(test_image,test_label,verbose=0)
##[0.5563450455665588, 0.7975000143051147]

4、在训练期间保存检查点

在训练期间训练结束时候自动保存检查点，这样一来，您便可以使用经过训练的模型，而无需重新训练该模型，或者是从上次暂停的地方继续训练，以防止训练过程终端
回调函数：tf.keras.callbacks.ModelCheckpoint 来控制他的训练过程

checkpoint_path="training_cp/cp.ckpt"
cp_callback=tf.keras.callbacks.ModelCheckpoint(checkpoint_path,save_weights_only=True,verbose=0)

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.fit(train_image,train_label,epochs=3,callbacks=[cp_callback])

其实保存的都是一些权重cp.ckpt

model=tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="softmax"))

model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["acc"])

model.evaluate(test_image,test_label,verbose=0)

model.load_weights("training_cp/cp.ckpt")

model.evaluate(test_image,test_label,verbose=0)