tensorflow2自定义模型保存的坑（tf.saved_model.save以及自定义GAN）

最新推荐文章于 2025-02-18 02:48:00 发布
最新推荐文章于 2025-02-18 02:48:00 发布
阅读量4k 收藏 9
点赞数 1
分类专栏： tensorflow 文章标签： tensorflow generator python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47182486/article/details/119877841
版权

今天自己用tf2搭建框架完成PassGAN网络，终于把模型和训练算法都完成了，效果也不错的时候，突然发现使用tf.saved_model.save保存模型会报错，而且错误很离谱，基本上无法debug的那种，令人十分头疼。

首先介绍一下代码的大致结构，GAN网络中生成器和判别器都是自己定义的，并且使用到了自定义的layer：
在这里插入图片描述
训练时可以使用tf.train.Checkpoint的保存方法，即使中断训练，可以重新加载后继续训练。但是这个方法不太方便，需要对源代码有了解，因此就可以使用tf.saved_model，这可以跨语言使用。

另外，如果没有使用自定义的layer，可以用keras的sequential来封装，这样可以使用keras.model.save保存成.h5的格式，更加方便。

就是因为自己使用了两个自定义层，导致出现了许多bug

这里先写的是第一个错误：请添加图片描述
请添加图片描述

报错显示有一个范围是未知的 也就是None，这时候我对生成器和判别器前加上一行代码：
在这里插入图片描述
这个是查阅官方文档后得到的，具体文档还是有点复杂的，大致意思是自定义模型在保存时需要用tf.function修饰部分函数，否则恢复后无法使用对应的函数。同时也制定了输入的类型和shape
文档网址：
https://tensorflow.google.cn/api_docs/python/tf/saved_model/save?hl=en

然后会显示第二个错误：
请添加图片描述
请添加图片描述
这里显示pred这个变量的类型不对，经过我仔细检查后发现是，调用一个块的时候，多加一个参数，但是编译器没有在调用处报错，结果一直没有发现，删除后代码可以正常运行，但是会报一个警告：

在这里插入图片描述
Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version是主要的警告

针对这个警告，尝试了几次都无法纠正，不过能运行就好

TensorFlow模型保存、加载与部署深度解析（十）
weixin_69882801的博客
02-18 844
保存时自动记录配置# 加载时需显式指定配置序列化流程调用获取层参数序列化为JSON格式存储反序列化时通过重建对象。
fit函数 model_【Tensorflow2.0】7、全流程model.fit模型训练方法
weixin_39785970的博客
12-20 3127
第一种方法直接用keras的fit方法，以fashion mnist为例本文包括一个完整的深度学习模型构建过程。有tf.data读数据集的方法；使用keras callbacks来实现checkpoint,学习率衰减，Earlystop等功能。最后结合scikit-learn，对模型的推理使用做了说明。import tensorflow as tfimport datetimeimport mat...
TensorFlow入门使用 tf.train.Saver()保存模型
09-20
主要介绍了TensorFlow入门使用 tf.train.Saver()保存模型，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
TensorFlow 2.0 - tf.saved_model.save 模型导出
Michael是个半路程序员
02-02 4534
文章目录1. tf.saved_model.save2. Keras 模型导出 学习于：简单粗暴 TensorFlow 2 1. tf.saved_model.save tf.train.Checkpoint 可以保存和恢复模型中参数的权值 导出模型：包含参数的权值，计算图 无须源码即可再次运行模型，适用于模型的分享、部署 注意： 继承 tf.keras.Model 的模型，一些方法需要是计算图模式，比如 call() 方法必须用 @tf.function 修饰 class MLPmodel(tf.
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
あずにゃん梓喵的博客
08-04 4609
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 4.11 综合案例：模型导出与部署 学习目标 目标 掌握TensorFlow模型的导出(saved_model格式) 掌握Tensorflow模型的部署 掌握TensorFlow模型的客户端调用 掌握TensorFlow模型的超参...
TensorFlow之SavedModel模型保存和加载
IT菜鸟
01-18 3940
TensorFlow之SavedModel模型保存和加载
TensorFlow2模型的保存与恢复
刘之帅
03-08 9130
keras API 保存与加载 保存 Sequential 模型和 Functional 模型 建立用于实验的模型 Sequential 模型和 Functional 模型保存方法相同，用Functional 模型演示： from tensorflow import keras from tensorflow.keras import layers #定义模型 inputs = keras.I...
学习笔记：能用20-50个模型说明tensorflow？
kingking44的博客
04-12 1231
TensorFlow 是一个广泛应用于机器学习和深度学习的开源框架，提供了丰富的功能和工具来构建和训练神经网络模型。 先来 20 个 TensorFlow 相关的实现示例，每个示例都包含基本的调用范例：线性回归模型： 卷积神经网络（CNN）： 循环神经网络（RNN）： 生成对抗网络（GAN）： 自编码器（Autoencoder）： 预训练模型迁移学习： K-Means 聚类： **Word2Vec**： 序列到序列模型： 多层感知机（MLP）： 自定义损失函数：
TensorFlow 使用 slim 模块搭建复杂网络
阿豪
08-13 216
原文链接: TensorFlow 使用 slim 模块搭建复杂网络 ...
TF2.0之官方脚本升级TF1.X版本代码
beater的博客
03-30 1372
实现TF1.x向TF2.0的升级 首先，谷歌Tensor flow官方已经给出了关于升级脚本的使用方法说明，链接如下：链接，有需要的可以自行查看，笔者在这里只是演示不同于官方文档的，基于Windows及Anaconda版本下的升级脚本演示。 一、前期准备工作 前期准备工作如下： 确保本机已有TF2.0及其以上版本的环境，且环境本身可运行。如果没有，请百度如何安装TF2.X版本，或点击，这个我的这个博客：Tensorflow 2.0 中遇到的一些坑记录（ 一）。 获取TF1.X版本代码，尽量确保其完整性及正
TensorFlow子类化API深度解析：自定义层、损失函数与评估指标全攻略（十一）
最新发布
weixin_69882801的博客
02-18 706
def __init__(self, ...): # 初始化配置参数def build(self, input_shape): # 创建权重（延迟初始化）def call(self, inputs): # 前向计算逻辑def get_config(self): # 序列化配置（可选）可微分性：必须保证梯度可计算数值稳定性：避免除零、log(0)等问题批处理友好：支持向量化计算参数可调：通过超参数控制行为# 判别器训练# 生成器训练return {
tensorflow2.0知识之模型保存
微微一笑满城空
04-08 965
文件夹以清晰的目录结构存储了模型的计算图结构、权重参数以及模型的输入输出签名信息。这种封装使得模型可以在不依赖原始训练代码的情况下被加载并执行推断，极大地简化了模型部署的过程。是 TensorFlow 推荐的模型持久化和部署的标准格式，它包含了模型的所有必要信息，使得模型可以在没有原始代码的情况下被加载并进行推断。需要注意的是，这种方式依然会保存模型的所有信息，即“网络结构、权重、配置、优化器状态”四个信息，所以可以接着训练。保存的 TensorFlow 模型是以。文件夹传输至目标位置即可。
tf.saved_model.save报错解决
weixin_47182486的博客
08-25 1820
前几天写了一篇同样关于 tf.saved_model.save报错的解决文章，不过这次的错误不太一样。 上一篇文章： savemodel报错 值得注意的是： 我使用的模型是自定义模型，而不是使用keras.model中的Sequential()封装的函数，所以不能使用model.save(‘xxx.h5’)对模型进行保存，只能通过tf.saved_model或者是save_weights来保存。 这次我同样是搭建GAN网络来破解口令，不同的是生成器方面，不再使用卷积核激活，而是使用LSTM网络代替，训练后保
【人工智能笔记】第二十七节 tensorflow 2.0 中保存模型的方式及注意事项
不定时更新AI技术tensorflow实现方式，欢迎关注，有问题请私信我。
03-12 2116
在 tensorflow2 中，保存模型有多种方法，方法都在tf.keras.models下面： 保存模型：save_model 或 model.save，读取模型：load_model。这里可保存成TensorFlow格式或者HDF5 文件。 只保存模型权重：model.save_weights，读取模型权重：model.load_weights。这里同样可以保存成TensorFlow格式或者HDF5 文件。 从配置读取模型结构：model.from_config(model.get_c...
tensorflow2.0保存模型和提取模型
rouranling的博客
04-06 2081
1.保存节点 # 实例化Checkpoint，指定保存对象为model（如果需要保存Optimizer的参数也可加入） checkpoint = tf.train.Checkpoint(myModel=self.model) # ...（模型训练代码） # 模型训练完毕后将参数保存到文件（也可以在模型训练过程中每隔一段时间就保存一次） checkpoint.save(save_...
tensorflow model save
zhizhi_zhizhi_zhizhi的博客
06-14 2247
一种是传统的Saver类save保存和restore恢复方法 1. TensorFlow模型简介 训练了一个神经网络之后，我们希望保存它以便将来使用。那么什么是TensorFlow模型?Tensorflow模型主要包含我们所培训的网络参数的网络设计或图形和值。因此，Tensorflow模型有两个主要的文件: a) Meta graph： ...
TensorFlow - save model
Zhou_Dao的博客
12-27 515
There are some examples to show how to save trained models example 1: this code can save the model which achieves max acc; but it cannot train model based on the pre-trained model; Besides, it e...
tf.saved_model
Himmelhoch的博客
01-25 318
Protocol Buffer是什么？ 是由谷歌推出的，跨语言跨平台的序列化结构数据的可扩展机制。比XML更节约内存，更快，更简单。 SavedModel 格式是什么？ SavedModel包含一个完整的Tensorflow程序，不仅包含权重值，还包含计算。 它不需要原始模型构建代码就可以运行，因此对共享和部署（使用TFLite、TensorFlow.js、TensorFlow Serving或TensorFlow Hub）非常有用。 【备注】 TFLite：在终端（如手机）部署模型，用于推理。
tensorflow2的模型保存与加载（save_weights、save和saved_model.save）
热门推荐
进击的Explorer
04-10 1万+
1、save/load weights 只保存网络的一个参数，不管其他的状态，这种模式适合自己对代码有个清晰的认识 用法流程如下： # Save the weights model.save_weights('./checkpoints/my_checkpoint') # 提供保存的路径 # Restore the weights model = create_model() # 重新创...
model.save()如何改写成tf.saved_model.save()
10-31
`model.save()`是TensorFlow 1.x中的函数，用于直接将Keras模型及其权重保存为HDF5文件或者序列化的Python对象，而`tf.saved_model.save()`则是TensorFlow 2.x中用于保存TF 2.0模型（包括函数式、子类化等）的官方方法，它将模型转换为更标准的SavedModel格式，支持多种平台和服务部署。 如果你想将一个Keras模型从`model.save()`改写为`tf.saved_model.save()`，你需要按照以下步骤操作： 1. 首先，确保你的Keras模型是在TF 2.x环境中定义的。如果是在TF 1.x中定义的，你需要将其升级到TF 2.x，例如通过`tf.keras.models.load_model('path_to_hdf5_file')`加载模型，然后继续在TF 2.x环境中操作。 2. 使用`tf.function`装饰器将模型的前向传播函数（如`__call__`）转换为可序列化的图形式。这对于函数式或子类化模型来说通常不需要做太多改变，因为它默认是函数式的。 ```python @tf.function(input_signature=[tf.TensorSpec(shape=(None,), dtype=tf.float32)]) def predict_function(inputs): return model(inputs) ``` 3. 将模型转换为SignatureDefs，这是SavedModel的核心部分，定义了模型的输入和输出。可以使用`tf.saved_model.build_signature_def()`创建一个或多个SignatureDef实例。 4. 最后，使用`tf.saved_model.save(model, export_dir)`将模型及其SignatureDefs保存到指定的export_dir（例如'/home/pi/Magic/sex_model_saved_model'）: ```python signature = tf.saved_model.build_signature_def( inputs={'input': tf.saved_model.utils.build_tensor_info(inputs)}, outputs={'output': tf.saved_model.utils.build_tensor_info(predict_function(inputs))}, method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME) builder = saved_model_builder.SavedModelBuilder(export_dir) builder.add_meta_graph_and_variables( sess=None, tags=['serve'], signature_def_map={ 'predict': signature }) builder.save() ``` 记住，在TF 2.x中，你还需要处理好变量管理，特别是当你的模型包含了变量时。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值