深度学习2.0-23.Keras高层接口之模型的加载与保存

最新推荐文章于 2024-04-30 12:10:18 发布
最新推荐文章于 2024-04-30 12:10:18 发布
阅读量233 收藏 1
点赞数
文章标签： tensorflow 深度学习 大数据
本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。
本文链接：https://blog.csdn.net/weixin_46649052/article/details/109004514
版权

文章目录

模型的保存与加载

在这里插入图片描述

1.load/save_weights

在这里插入图片描述
在这里插入图片描述

实战
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import tensorflow as tf
from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics


def preprocess(x, y):
    """
    x is a simple image, not a batch
    """
    x = tf.cast(x, dtype=tf.float32) / 255.
    x = tf.reshape(x, [28 * 28])
    y = tf.cast(y, dtype=tf.int32)
    y = tf.one_hot(y, depth=10)
    return x, y


batchsz = 128
(x, y), (x_val, y_val) = datasets.mnist.load_data()
print('datasets:', x.shape, y.shape, x.min(), x.max())

db = tf.data.Dataset.from_tensor_slices((x, y))
db = db.map(preprocess).shuffle(60000).batch(batchsz)

ds_val = tf.data.Dataset.from_tensor_slices((x_val, y_val))
ds_val = ds_val.map(preprocess).batch(batchsz)

sample = next(iter(db))
print(sample[0].shape, sample[1].shape)

network = Sequential([layers.Dense(256, activation='relu'),
                      layers.Dense(128, activation='relu'),
                      layers.Dense(64, activation='relu'),
                      layers.Dense(32, activation='relu'),
                      layers.Dense(10)])
network.build(input_shape=(None, 28 * 28))
network.summary()

network.compile(optimizer=optimizers.Adam(lr=0.01),
                loss=tf.losses.CategoricalCrossentropy(from_logits=True),
                metrics=['accuracy']
                )

network.fit(db, epochs=3, validation_data=ds_val, validation_freq=2)

network.evaluate(ds_val)

# 保存模型的参数
network.save_weights('weights.ckpt')
print('saved weights.')
del network

# 构建多层网络
network = Sequential([layers.Dense(256, activation='relu'),
                      layers.Dense(128, activation='relu'),
                      layers.Dense(64, activation='relu'),
                      layers.Dense(32, activation='relu'),
                      layers.Dense(10)])
network.compile(optimizer=optimizers.Adam(lr=0.01),
                loss=tf.losses.CategoricalCrossentropy(from_logits=True),
                metrics=['accuracy']
                )
# 加载模型的参数
network.load_weights('weights.ckpt')
print('loaded weights!')
network.evaluate(ds_val)

Epoch 2/3
  1/469 [..............................] - ETA: 13:50 - loss: 0.1488 - accuracy: 0.9688
 19/469 [>.............................] - ETA: 43s - loss: 0.1262 - accuracy: 0.9634  
 39/469 [=>............................] - ETA: 20s - loss: 0.1342 - accuracy: 0.9619
 57/469 [==>...........................] - ETA: 13s - loss: 0.1324 - accuracy: 0.9635
 76/469 [===>..........................] - ETA: 10s - loss: 0.1379 - accuracy: 0.9623
 93/469 [====>.........................] - ETA: 8s - loss: 0.1348 - accuracy: 0.9632 
110/469 [======>.......................] - ETA: 6s - loss: 0.1370 - accuracy: 0.9618
130/469 [=======>......................] - ETA: 5s - loss: 0.1375 - accuracy: 0.9615
150/469 [========>.....................] - ETA: 4s - loss: 0.1384 - accuracy: 0.9618
169/469 [=========>....................] - ETA: 3s - loss: 0.1384 - accuracy: 0.9614
187/469 [==========>...................] - ETA: 3s - loss: 0.1369 - accuracy: 0.9619
207/469 [============>.................] - ETA: 2s - loss: 0.1385 - accuracy: 0.9612
229/469 [=============>................] - ETA: 2s - loss: 0.1387 - accuracy: 0.9612
251/469 [===============>..............] - ETA: 2s - loss: 0.1393 - accuracy: 0.9610
274/469 [================>.............] - ETA: 1s - loss: 0.1388 - accuracy: 0.9615
297/469 [=================>............] - ETA: 1s - loss: 0.1378 - accuracy: 0.9616
319/469 [===================>..........] - ETA: 1s - loss: 0.1373 - accuracy: 0.9618
342/469 [====================>.........] - ETA: 0s - loss: 0.1366 - accuracy: 0.9621
363/469 [======================>.......] - ETA: 0s - loss: 0.1356 - accuracy: 0.9624
385/469 [=======================>......] - ETA: 0s - loss: 0.1362 - accuracy: 0.9623
407/469 [=========================>....] - ETA: 0s - loss: 0.1358 - accuracy: 0.9624
429/469 [==========================>...] - ETA: 0s - loss: 0.1350 - accuracy: 0.9627
450/469 [===========================>..] - ETA: 0s - loss: 0.1342 - accuracy: 0.9629
466/469 [============================>.] - ETA: 0s - loss: 0.1343 - accuracy: 0.9629
469/469 [==============================] - 3s 7ms/step - loss: 0.1344 - accuracy: 0.9629 - val_loss: 0.1209 - val_accuracy: 0.9648
Epoch 3/3
  1/469 [..............................] - ETA: 14:16 - loss: 0.1254 - accuracy: 0.9609
 20/469 [>.............................] - ETA: 42s - loss: 0.1014 - accuracy: 0.9695  
 39/469 [=>............................] - ETA: 21s - loss: 0.1063 - accuracy: 0.9700
 60/469 [==>...........................] - ETA: 13s - loss: 0.1006 - accuracy: 0.9703
 82/469 [====>.........................] - ETA: 9s - loss: 0.1041 - accuracy: 0.9690 
105/469 [=====>........................] - ETA: 7s - loss: 0.1089 - accuracy: 0.9676
128/469 [=======>......................] - ETA: 5s - loss: 0.1072 - accuracy: 0.9684
151/469 [========>.....................] - ETA: 4s - loss: 0.1056 - accuracy: 0.9692
171/469 [=========>....................] - ETA: 3s - loss: 0.1089 - accuracy: 0.9688
189/469 [===========>..................] - ETA: 3s - loss: 0.1094 - accuracy: 0.9688
208/469 [============>.................] - ETA: 2s - loss: 0.1122 - accuracy: 0.9681
228/469 [=============>................] - ETA: 2s - loss: 0.1099 - accuracy: 0.9687
250/469 [==============>...............] - ETA: 2s - loss: 0.1093 - accuracy: 0.9691
270/469 [================>.............] - ETA: 1s - loss: 0.1088 - accuracy: 0.9692
291/469 [=================>............] - ETA: 1s - loss: 0.1081 - accuracy: 0.9696
312/469 [==================>...........] - ETA: 1s - loss: 0.1079 - accuracy: 0.9700
334/469 [====================>.........] - ETA: 1s - loss: 0.1082 - accuracy: 0.9700
356/469 [=====================>........] - ETA: 0s - loss: 0.1086 - accuracy: 0.9699
378/469 [=======================>......] - ETA: 0s - loss: 0.1083 - accuracy: 0.9699
401/469 [========================>.....] - ETA: 0s - loss: 0.1071 - accuracy: 0.9700
422/469 [=========================>....] - ETA: 0s - loss: 0.1081 - accuracy: 0.9698
441/469 [===========================>..] - ETA: 0s - loss: 0.1089 - accuracy: 0.9697
459/469 [============================>.] - ETA: 0s - loss: 0.1083 - accuracy: 0.9700
469/469 [==============================] - 3s 6ms/step - loss: 0.1082 - accuracy: 0.9701
 1/79 [..............................] - ETA: 0s - loss: 0.0620 - accuracy: 0.9844
11/79 [===>..........................] - ETA: 0s - loss: 0.1625 - accuracy: 0.9616
21/79 [======>.......................] - ETA: 0s - loss: 0.1902 - accuracy: 0.9576
32/79 [===========>..................] - ETA: 0s - loss: 0.1910 - accuracy: 0.9570
41/79 [==============>...............] - ETA: 0s - loss: 0.1845 - accuracy: 0.9573
50/79 [=================>............] - ETA: 0s - loss: 0.1695 - accuracy: 0.9605
60/79 [=====================>........] - ETA: 0s - loss: 0.1499 - accuracy: 0.9645
70/79 [=========================>....] - ETA: 0s - loss: 0.1389 - accuracy: 0.9667
79/79 [==============================] - 0s 5ms/step - loss: 0.1372 - accuracy: 0.9664
saved weights.
loaded weights!
 1/79 [..............................] - ETA: 6s - loss: 0.0620 - accuracy: 0.9844
11/79 [===>..........................] - ETA: 0s - loss: 0.1625 - accuracy: 0.9616
21/79 [======>.......................] - ETA: 0s - loss: 0.1902 - accuracy: 0.9576
30/79 [==========>...................] - ETA: 0s - loss: 0.1884 - accuracy: 0.9581
39/79 [=============>................] - ETA: 0s - loss: 0.1914 - accuracy: 0.9559
49/79 [=================>............] - ETA: 0s - loss: 0.1724 - accuracy: 0.9600
59/79 [=====================>........] - ETA: 0s - loss: 0.1522 - accuracy: 0.9640
69/79 [=========================>....] - ETA: 0s - loss: 0.1404 - accuracy: 0.9665
78/79 [============================>.] - ETA: 0s - loss: 0.1388 - accuracy: 0.9663
79/79 [==============================] - 1s 6ms/step - loss: 0.1372 - accuracy: 0.9664
2.save/load entire model

在这里插入图片描述

实战
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import tensorflow as tf
from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics

# 数据预处理
def preprocess(x, y):
    """
    x is a simple image, not a batch
    """
    x = tf.cast(x, dtype=tf.float32) / 255.
    x = tf.reshape(x, [28 * 28])
    y = tf.cast(y, dtype=tf.int32)
    y = tf.one_hot(y, depth=10)
    return x, y


batchsz = 128
# 数据集加载
(x, y), (x_val, y_val) = datasets.mnist.load_data()
print('datasets:', x.shape, y.shape, x.min(), x.max())

db = tf.data.Dataset.from_tensor_slices((x, y))
db = db.map(preprocess).shuffle(60000).batch(batchsz)

ds_val = tf.data.Dataset.from_tensor_slices((x_val, y_val))
ds_val = ds_val.map(preprocess).batch(batchsz)

sample = next(iter(db))
print(sample[0].shape, sample[1].shape)

network = Sequential([layers.Dense(256, activation='relu'),
                      layers.Dense(128, activation='relu'),
                      layers.Dense(64, activation='relu'),
                      layers.Dense(32, activation='relu'),
                      layers.Dense(10)])
network.build(input_shape=(None, 28 * 28))
network.summary()

network.compile(optimizer=optimizers.Adam(lr=0.01),
                loss=tf.losses.CategoricalCrossentropy(from_logits=True),
                metrics=['accuracy']
                )

network.fit(db, epochs=3, validation_data=ds_val, validation_freq=2)

network.evaluate(ds_val)

# 保存整个模型
network.save('model.h5')
print('saved total model.')
del network

print('loaded model from file.')
# 加载整个模型
network = tf.keras.models.load_model('model.h5', compile=False)
network.compile(optimizer=optimizers.Adam(lr=0.01),
                loss=tf.losses.CategoricalCrossentropy(from_logits=True),
                metrics=['accuracy']
                )

x_val = tf.cast(x_val, dtype=tf.float32) / 255.
x_val = tf.reshape(x_val, [-1, 28 * 28])
y_val = tf.cast(y_val, dtype=tf.int32)
y_val = tf.one_hot(y_val, depth=10)

ds_val = tf.data.Dataset.from_tensor_slices((x_val, y_val)).batch(128)
network.evaluate(ds_val)
3.saved_model-用于工业环境的部署

在这里插入图片描述

哎呦-_-不错
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习2.0-25.Train-Val-Test划分检测过拟合(交叉验证)
柳杰的博客
10-11 1277
文章目录1.train_val划分实战2.train_val_test3.交叉验证 1.train_val划分 实战 # train_val import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics def preprocess(x, y): "
机器学习-15. Keras深度学习框架
07-16
人工智能基础视频教程零基础入门课程 第十四章 人工智能基础视频教程零基础入门课程，不需要编程基础即可学习，共15章，由于整体课程内容太大，无法一次传输，分章节上传。...十五章 Keras深度学习框架
机器学习实践—基于Scikit-Learn、Keras和TensorFlow2第二版—第11章 训练深度神经网络
bigcindy的博客
07-08 1308
训练深度神经网络并非易事，常常会遇到如下问题： 梯度消失和爆炸问题，导致神经网络前面的层无法得到很好地训练 数据不足，或者标注代价太大 训练速度极慢 参数较多时很容易过拟合，尤其是在数据量不足或数据存在大师噪声时 0. 导入所需的库 import tensorflow as tf import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline import os for
BaseCollectiveExecutor::StartAbort Out of range: End of sequence [[{{node IteratorGetNext}}问题
XH生信和机器学习空间
01-08 5442
使用tensorflow2时训练epoch出现 Epoch 35/100 54/55 [============================>.] - ETA: 0s - loss: 0.5587 - accuracy: 0.70622020-01-07 15:36:38.360506: W tensorflow/core/common_runtime/base_collective_e...
logging 详解第一期：是谁偷偷动了我的 logger
qq_39967751的博客
04-01 372
新创建的 logger 为何无法正确 “发声”，不怀好意的日志究竟从何而来，精心配置的 logger 竟然然口口吐吐叠叠词词，到底是配置者的失误还是来自三方库的暗箱操作，欢迎走进 logging 详解的第一期：《是谁偷偷动了我的 logger》。 调试完成，实验启动！ 2022-01-28 15:01:45,436 - mmdet - INFO - Epoch [1][0/7330] lr: 1.000e-02, eta: 8:28:55, time: 0.248, data_t
cudnn升级方法，解决CuDNN版本不兼容问题
凡心所向.AI
09-24 9360
运行代码时出现： 32/1109 [..............................] - ETA: 12:41 - loss: 3.4072 - accuracy: 0.0000e+002020-09-24 02:47:25.341531: E tensorflow/stream_executor/cuda/cuda_dnn.cc:319] Loaded runtime CuDNN library: 7.5.1 but source was compiled with: 7.6.4. C.
关于keras构建的神经网络的输出结果解释ETA
jiachun199的博客
09-14 1697
ETA：Estimated Time of Arrival。Loss:系统的损失。acc：Accuracy正确率
keras读取h5文件load_weights、load代码详解
热门推荐
热爱生活，忠于自己
07-31 8万+
keras利用h5py读取h5文件，keras.models.load_model() 读取网络、权重；keras.models.load_weights() 仅读取权重。代码详解。
机器学习入门之：keras重写手写数字识别
qq_42902997的博客
09-14 275
1. 导入模块 import numpy as np # 科学的矩阵运算库 import cv2 # 进行图片可视化的库 import matplotlib.pyplot as plt # 进行图片可视化的库 from keras import layers # 构建神经网络的各种层 from keras import models # 负责将各个神经网络层进行链接形成模型 from keras.utils import to_categorical # 负责将特征编码成独热码
Tensorflow2中load_weights的一些研究
CruelPaw的博客
02-29 8891
假设我们定义了一个keras模型,并且使用它的save_weights函数保存了一些参数.现在我们只定义这个模型的一部分,并且使用load_weights去加载我们保存的这个完整的模型,会发生什么? 首先看源代码,load_weights实际上是调用了tensorflow_core/python/keras/engine/network.py文件中Network类的load_weights函数,...
[tf1] 保存和加载参数
weixin_43742643的博客
02-02 1651
tf.keras 参考 https://github.com/tensorflow/docs/blob/529ba4346b8fc5e830e762a2f0ee87b3c345c0c9/site/en/r1/guide/keras.ipynb # Save weights to a TensorFlow Checkpoint file model.save_weights('./weights/my_model') # Restore the model's state, # this requires
机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf
06-27
机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和...
yolo-v4-tf.keras:YOLO v4的简单tf.keras实现
05-06
yolo-v4-tf.keras YOLO v4的简单tf.keras实现 去做 余弦退火调度器 地图 镶嵌增强 DropBlock 自我对抗训练（SAT） 标签平滑 米什 IoU，GIoU，CIoU丢失 多GPU训练 快速开始 从下载官方YOLO v4预先训练的...
Python库 | mlp-mixer-keras-0.0.2.tar.gz
04-11
资源分类：Python库 所属语言：Python 资源全名：mlp-mixer-keras-0.0.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python 与 TensorFlow2 生成式 AI（四）
龙哥盟
04-30 763
祝贺你完成了涉及大量概念的复杂章节。在本章中，我们涵盖了处理文本数据以进行文本生成任务的各种概念。我们首先了解了不同的文本表示模型。我们涵盖了大多数广泛使用的表示模型，从词袋到 word2vec 甚至 FastText。本章的下一部分重点讨论了发展对基于循环神经网络（RNN）的文本生成模型的理解。我们简要讨论了什么构成了语言模型以及我们如何为这样的任务准备数据集。之后我们训练了一个基于字符的语言模型，生成了一些合成文本样本。我们涉及了不同的解码策略，并用它们来理解我们 RNN 模型的不同输出。
Python 与 TensorFlow2 生成式 AI（五）
龙哥盟
04-30 853
在本章中，我们探讨了生成模型在强化学习中的另一个应用。首先，我们描述了强化学习如何允许我们学习环境中代理的行为，以及深度神经网络如何使 Q-learning 能够适用于具有极大观察和动作空间的复杂环境。然后，我们讨论了逆强化学习，并且它通过“反转”问题并尝试“通过示例学习”与强化学习有所不同。我们讨论了如何使用熵来评分尝试与专家网络进行比较的问题，以及这种熵损失的特定、正则化版本如何与我们在第六章中学习的 GAN 问题具有类似的形式，称为 GAIL（生成对抗性模仿学习）。
Python 与 TensorFlow2 生成式 AI（一）
最新发布
龙哥盟
04-30 544
在本章中，我们将深入探讨生成模型的各种应用。在此之前，我们将退后一步，详细研究生成模型与其他类型的机器学习的区别。区别在于任何机器学习算法的基本单位：概率以及我们用数学量化我们遇到的数据的形状和分布的各种方法。在本章的其余部分，我们将 covers：AI 的应用判别和生成模型实施生成模型概率的规则为什么使用生成模型？生成模型的独特挑战在本章中，我们讨论了生成建模是什么，以及它如何适应更熟悉的机器学习方法的格局。我使用概率论和贝叶斯定理来描述这些模型如何以与判别式学习相反的方式进行预测。
Python 与 TensorFlow2 生成式 AI（三）
龙哥盟
04-30 630
原文：zh.annas-archive.org/md5/d06d282ea0d9c23c57f0ce31225acf76 译者：飞龙 协议：CC BY-NC-SA 4.0 第七章：使用 GAN 进行风格转移 神经网络在涉及分析和语言技能的各种任务中正在取得进步。创造力是人类一直占有优势的领域，艺术不仅是主观的，没有明确定义的边界，而且很难量化。然而，这并没有阻止研究人员探索算法的创造能力。多年来有过几次成功试图创建、理解甚至模仿艺术或艺术风格的尝试，例如深梦¹和神经风格转移²。 生成模型非常适合于想象和
tf.keras中的模型编译带有编译参数的模型（model-compile.py）
05-30
optimizer = tf.keras.optimizers.Adam(lr=0.001) # 定义优化器并指定学习率 loss = tf.keras.losses.CategoricalCrossentropy() # 定义损失函数 metrics = ['accuracy'] # 定义评估指标 model.compile(optimizer=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值