keras API 保存与加载
保存 Sequential 模型和 Functional 模型
建立用于实验的模型
Sequential 模型和 Functional 模型保存方法相同，用Functional 模型演示：
from tensorflow import keras
from tensorflow.keras import layers
#定义模型
inputs = keras.Input(shape=(784,), name='digits')
x = layers.Dense(64, activation='relu', name='dense_1')(inputs)
x = layers.Dense(64, activation='relu', name='dense_2')(x)
outputs = layers.Dense(10, name='predictions')(x)
model = keras.Model(inputs=inputs, outputs=outputs, name='3_layer_mlp')
model.summary()
#训练模型
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()
x_train = x_train.reshape(60000, 784).astype('float32') / 255
x_test = x_test.reshape(10000, 784).astype('float32') / 255
model.compile(loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=keras.optimizers.RMSprop())
history = model.fit(x_train, y_train,
batch_size=64,
epochs=1)
Model: "3_layer_mlp"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
digits (InputLayer) [(None, 784)] 0
_________________________________________________________________
dense_1 (Dense) (None, 64) 50240
_________________________________________________________________
dense_2 (Dense) (None, 64) 4160
_________________________________________________________________
predictions (Dense) (None, 10) 650
=================================================================
Total params: 55,050
Trainable params: 55,050
Non-trainable params: 0
_________________________________________________________________
Train on 60000 samples
60000/60000 [==============================] - 3s 42us/sample - loss: 0.3146
整个模型的保存与恢复
#保存模型
model.save('path_to_my_model.h5')
#恢复模型
new_model = keras.models.load_model('path_to_my_model.h5')
new_model.summary()
Model: "3_layer_mlp"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
digits (InputLayer) [(None, 784)] 0
_________________________________________________________________
dense_1 (Dense) (None, 64) 50240
_________________________________________________________________
dense_2 (Dense) (None, 64) 4160
_________________________________________________________________
predictions (Dense) (None, 10) 650
=================================================================
Total params: 55,050
Trainable params: 55,050
Non-trainable params: 0
_________________________________________________________________
当调用model.save方法时：
- 模型的结构
- 模型的参数
- 模型的配置（compile里那些）
- 模型优化器的相关参数
默认情况下都会被保存，save方法定义如下
save(
filepath, overwrite=True, include_optimizer=True, save_format=None,
signatures=None, options=None
)
filepath:字符串类型，保存路径overwrite: 是静默覆盖目标位置的任何现有文件，还是向用户提供手动提示。include_optimizer: 是否把优化器内参数也一并保存save_format: 选填’tf’ 和’h5’其中一个, Tensorflow SavedModel 和 HDF5两种类型. 默认是TFsignatures: 使用SavedModel保存的签名。只适用于“tf”格式，详情查看tf.saved_model.saveoptions:可选参数，tf.saved_model.SaveOptions对象，该对象指定保存到SavedModel的选项。
tf.keras.models.load_model()方法：
tf.keras.models.load_model(
filepath, custom_objects=None, compile=True
)
filepath：加载路径custom_objects: 可选的字典将名称(字符串)映射到在反序列化期间要考虑的自定义类或函数。compile: 是否在加载模型后编译模型
model.save()与new_model = keras.models.load_model()同样可将模型导出为SavedModel格式
# Export the model to a SavedModel
model.save('path_to_saved_model', save_format='tf')
# Recreate the exact same model
new_model = keras.models.load_model('path_to_saved_model')
SavedModel是TensorFlow对象的独立序列化格式，由TensorFlow支持和实现。
只保存模型或只保存结构
如果只想保存模型结构，而不想保存模型参数，可以通过model.get_config()方法获取模型的配置信息 , 模型的配置信息是Python dict类型 , 对于模型的恢复可以使用keras.Model.from_config(config)
config = model.get_config()
reinitialized_model = keras.Model.from_config(config)
模型的config信息也可以被保存为json字符串 , 此时应该使用model.to_json()与keras.models.model_from_json() , 对模型进行提取和恢复
json_config = model.to_json()
reinitialized_model = keras.models.model_from_json(json_config)
将模型的结构(配置信息)取到内存以后 , 可以通过python方法将模型保存到硬盘:
json_config = model.to_json()
with open('model_config.json', 'w') as json_file:
json_file.write(json_config)
如果只想保存权重信息可以使用get_weights()/set_weights()方法 , 对模型的权重进行提取和恢复
weights = model.get_weights()
model.set_weights(weights)
如果想将其保存在硬盘上，应该用save_weights(fpath) 和 load_weights(fpath)，代替 get_weights() 和 set_weights(weights)
model.save_weights方法 :
save_weights(
filepath, overwrite=True, save_format=None
)
filepath: 字符串,文件路径,.h5后缀将会使文件保存为HDF5格式overwrite: 是静默覆盖目标位置的任何现有文件，还是向用户提供手动提示。save_format: 可选 tf 或者 h5 默认不填的话 , 根据文件路径后缀判断 , 否则默认 tf
无论是单独保存参数还是单独保存模型，无论哪种方式，都不会保存训练数据和优化器参数，所以新模型需要重新编译。
子类模型的保存
子类模型的保存和上述类似但是要注意
- 从未使用过的模型无法被保存
- 如果使用
model.save_weights保存参数，恢复时，需要保证用子类创建一个相同类型的模型，并编译（compile）相同的配置，且在load_weights之前一定要先训练一些数据（为了自动创建层的大小与类型等操作）
在训练期间保存模型
可以使用训练好的模型而无需从头开始重新训练，或在您打断的地方开始训练，以防止训练过程没有保存。 tf.keras.callbacks.ModelCheckpoint 允许在训练的过程中和结束时回调保存的模型。
tf.keras.callbacks.ModelCheckpoint对象是回调对象，该回调对象可以在每一个周期保存模型
实例化方法：
tf.keras.callbacks.ModelCheckpoint(
filepath, monitor='val_loss', verbose=0, save_best_only=False,
save_weights_only=False, mode='auto', save_freq='epoch', **kwargs
)
Arguments:
filepath:字符串类型，储存模型的路径monitor: 监视指标val_acc或者val_lossverbose: 日志模型, 0 或者 1.save_best_only: 布尔型，如果为true，根据监视指标，最后一个最好的模型将不会被覆盖，如果filepath没有包含格式化选项{epoch}，保存的模型文件将会被新周期里更好的模型覆盖。mode: 可选填{'auto', 'min', 'max'}中的一个，如果save_best_only被设置为true，那么覆盖操作的执行，将根据监视指标和这个参数来决定，比如maxval_acc和minval_loss，如果被天填auto则会跟俊监视指标指定选择max还是minsave_weights_only: 如果参数为真，则只保存模型的权值，而非整个模型，这个参数只要影响该回调对象是调用(model.save_weights(filepath)方法还是调用model.save(filepath).save_freq: 填写epoch或者一个数字，如果是epoch时，回调会在每个epoch之后保存模型。当使用integer时，回调将在处理n个样本后保存模型，默认是'epoch'
例如：
checkpoint_path = "training_1/cp.ckpt"
checkpoint_dir = os.path.dirname(checkpoint_path)
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path,
save_weights_only=True,
verbose=1)
history = model.fit(x_train, y_train,
batch_size=64,
epochs=10, callbacks=[cp_callback])
Train on 60000 samples
Epoch 1/10
58304/60000 [============================>.] - ETA: 0s - loss: 0.3180
Epoch 00001: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 9s 150us/sample - loss: 0.3145
Epoch 2/10
58432/60000 [============================>.] - ETA: 0s - loss: 0.1484
Epoch 00002: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 32us/sample - loss: 0.1476
Epoch 3/10
58624/60000 [============================>.] - ETA: 0s - loss: 0.1077
Epoch 00003: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 31us/sample - loss: 0.1077
Epoch 4/10
58688/60000 [============================>.] - ETA: 0s - loss: 0.0861
Epoch 00004: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 32us/sample - loss: 0.0860
Epoch 5/10
58624/60000 [============================>.] - ETA: 0s - loss: 0.0745
Epoch 00005: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0742
Epoch 6/10
58624/60000 [============================>.] - ETA: 0s - loss: 0.0630
Epoch 00006: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0627
Epoch 7/10
58944/60000 [============================>.] - ETA: 0s - loss: 0.0559
Epoch 00007: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 33us/sample - loss: 0.0563
Epoch 8/10
59648/60000 [============================>.] - ETA: 0s - loss: 0.0493
Epoch 00008: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 34us/sample - loss: 0.0493
Epoch 9/10
58816/60000 [============================>.] - ETA: 0s - loss: 0.0431
Epoch 00009: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 34us/sample - loss: 0.0429
Epoch 10/10
58688/60000 [============================>.] - ETA: 0s - loss: 0.0398
Epoch 00010: saving model to training_1/cp.ckpt
60000/60000 [==============================] - 2s 34us/sample - loss: 0.0397
tf.train.Checkpoint 保存与加载
使用tf.train.Checkpoint , 需要首先声明一个 Checkpoint对象：
checkpoint = tf.train.Checkpoint(model=model)
这里 tf.train.Checkpoint() 接受的初始化参数比较特殊，是一个 **kwargs 。具体而言，是一系列的键值对，键名可以随意取，值为需要保存的对象。例如，如果我们希望保存一个继承 tf.keras.Model 的模型实例 model 和一个继承 tf.train.Optimizer 的优化器 optimizer ，我们可以这样写：
checkpoint = tf.train.Checkpoint(myAwesomeModel=model, myAwesomeOptimizer=optimizer)
接下来，当模型训练完成需要保存的时候，使用：
checkpoint.save(save_path_with_prefix)
就可以。 save_path_with_prefix 是保存文件的目录 + 前缀。
当在其他地方需要为模型重新载入之前保存的参数时，需要再次实例化一个 checkpoint，同时保持键名的一致。再调用 checkpoint 的 restore 方法。就像下面这样：
model = MyModel() # 待恢复参数的同一模型
checkpoint = tf.train.Checkpoint(myAwesomeModel=model) # 键名保持为“myAwesomeModel”
checkpoint.restore(save_path_with_prefix_and_index)
即可恢复模型变量。 save_path_with_prefix_and_index 是之前保存的文件的目录 + 前缀 + 编号。例如，调用 checkpoint.restore('./save/model.ckpt-1') 就可以载入前缀为 model.ckpt ，序号为 1 的文件来恢复模型。
当保存了多个文件时，我们往往想载入最近的一个。可以使用 tf.train.latest_checkpoint(save_path) 这个辅助函数返回目录下最近一次 checkpoint 的文件名。例如如果 save 目录下有 model.ckpt-1.index 到 model.ckpt-10.index 的 10 个保存文件， tf.train.latest_checkpoint('./save') 即返回 ./save/model.ckpt-10 。
tf.train.CheckpointManager 管理检查点
在定义 Checkpoint 后接着定义一个 CheckpointManager：
checkpoint = tf.train.Checkpoint(model=model)
manager = tf.train.CheckpointManager(checkpoint, directory='./save', checkpoint_name='model.ckpt', max_to_keep=k)
此处， directory 参数为文件保存的路径， checkpoint_name 为文件名前缀（不提供则默认为 ckpt ）， max_to_keep 为保留的 Checkpoint 数目。
在需要保存模型的时候，我们直接使用 manager.save() 即可。如果我们希望自行指定保存的 Checkpoint 的编号，则可以在保存时加入 checkpoint_number 参数。例如 manager.save(checkpoint_number=100) 。
本文摘录、翻译自
Keras中文文档
https://keras.io/zh/
TensorFlow官方
https://tensorflow.google.cn/
最全Tensorflow2.0 入门教程持续更新
https://zhuanlan.zhihu.com/p/59507137
简单粗暴TensorFlow2
https://tf.wiki/zh/preface.html
扫一扫
930
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
