Tensorflow 加载模型 restore 与 init_from_checkpoint的区别

最新推荐文章于 2024-02-21 23:10:48 发布
最新推荐文章于 2024-02-21 23:10:48 发布
阅读量9.9k 收藏 23
点赞数 10
文章标签： tensorflow restore init_from_checkpoint
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miangangzhen/article/details/89531378
版权

在把BERT从estimator框架中抽出来的过程中，学习整理了一下加载模型的两种方式。
请注意，两种方式中，调用sess.run(tf.global_variables_initializer())的顺序是不一样的，否则会导致: 加载失败，使用随机初始化参数。

方式一

# 先构建网络结构
build_model()
# 初始化变量
sess.run(tf.global_variables_initializer())
# 最后从checkpoint中加载已训练好的参数
saver = tf.train.Saver()
saver.restore(self.sess, init_checkpoint)

方式二

# 先构建网络结构
build_model()
# 调用init_from_checkpoint方法
tvars = tf.trainable_variables()
(assignment_map,
 initialized_variable_names) = modeling.get_assignment_map_from_checkpoint(
    tvars, init_checkpoint)
tf.train.init_from_checkpoint(init_checkpoint, assignment_map)
# 最后初始化变量
sess.run(tf.global_variables_initializer())
miangangzhen
关注
  • 10
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
tensorflow模型的save与restore,及checkpoint中读取变量方式
12-17
创建一个NN import tensorflow as tf import numpy as np #fake data x = np.linspace(-1, 1, 100)[:, np.newaxis] #shape(100,1) noise = np.random.normal(0, 0.1, size=x.shape) y = np.power(x, 2) + noise #shape(100,1) + noise tf_x = tf.placeholder(tf.float32, x.shape) #input x tf_y = tf.placeholder(tf.floa
python3 13.tensorflow中模型保存和恢复方法之checkpoint使用 学习笔记
112
03-13 6865
文章目录前言一、checkpoint模型保存二、checkpoint模型恢复方法之同时存在.ckpt和.meta文件三、checkpoint模型恢复方法之无.meta文件 前言      计算机视觉系列之学习笔记主要是本人进行学习人工智能（计算机视觉方向）的代码整理。本系列所有代码是用python3编写，在平台Anaconda中运行实现，在使用代码时，默认你...
【PyTorch Lightening】load_from_checkpoint报错__init__() missing 1 required positional argument
最新发布
小张的博客
02-21 418
在初始化LightningModule时在__init__中加上 self.save_hyperparameters() [1]
tensorflow中tf.train.init_from_checkpoint的使用
weixin_42256251的博客
04-28 1746
比如用下面代码保存一个模型： import tensorflow as tf import numpy as np input = np.random.random([10, 2]) print(input) output = tf.layers.dense(input, units=2) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print(sess.run(output))
tf.train.init_from_checkpoint()
Aser_Chen的博客
02-26 8818
tf.train.init_from_checkpoint( ckpt_dir_or_file, assignment_map ) ckpt_dir_or_file：.ckpt模型的路径 assignment_map：字典类型，key为要恢复的变量名 之前tf版本生成的模型为model.ckpt，新一点的版本会生成几个文件，如下： model.ckpt-37047.data-00000-of-00...
tensorflow通过checkpoint恢复模型参数
Berlin
03-01 1908
前情提要：在模型训练过程中通过dev进行验证，寻找最优的参数组合。在训练结束后选择最优dev的情况进行测试。可通过Saver进行保存，而后恢复的方法，常见的恢复方法有两种：1.通过restore函数进行恢复；2.通过加载meta的方法恢复图模型。本文记录Re2模型中使用的第三种方法：通过checkpoint恢复部分参数，并使用该参数重新实例化model对象，而后进行验证。该方法适用于模块化较强的大...
tensorflow 载入多个模型权重
心之所向
06-13 1488
# 载入预训练参数 tvars = tf.trainable_variables() initialized_variable_names = {} scaffold_fn = None if init_checkpoint: #init_checkpoint为模型参数文件 for in...
对TensorFlow中的variables_to_restore函数详解
09-20
今天小编就为大家分享一篇对TensorFlow中的variables_to_restore函数详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
tensorflow_save_restore_model_demo.py例子
01-28
官方例子，深度学习专用，机器学习专用，代码简单，一看就会(tensorflow save restore model demo)
搞清楚TensorFlow2--Checkpoint
BoCong-Deng的博客
08-15 3325
写在前面 GitHub TensorFlow原文档 TensorFlow版本：2.3 引言 很多时候，我们希望在模型训练完成后能将训练好的参数（变量）保存起来，在需要使用模型的其他地方载入模型和参数，就能直接得到训练好的模型。而TensorFlow 正好提供了tf.train.Checkpoint这一强大的变量保存与恢复类，可以使用其 save() 和 restore() 方法将 TensorFlow 中所有包含 Checkpointable State 的对象进行保存和恢复。不过有一点要注意的是，Chec
输出TensorFlow中checkpoint内变量的几种方法
wangxiaopeng0329的博客
02-15 1万+
将TF保存在checkpoint中的变量值输出到txt或npy中的几种简单的可行的方法： 1，最简单的方法，是在有model 的情况下，直接用tf.train.saver进行restore，就像 cifar10_eval.py 中那样。然后，在sess中直接run变量的名字就可以得到变量保存的值。 在这里以cifar10_eval.py为例。首先，在Graph中穿件model。
tensorflow对自己的数据进行训练（选择性的恢复权值）（26）---《深度学习》
阿华Go，从现在开始的博客
11-22 3355
利用生成的批数据对inception_v3模型进行微调，然后进行训练！#-*-coding=utf-8-*- import tensorflow as tf import tensorflow.contrib.slim as slim import tensorflow.contrib.slim.nets as nets #from tensorflow.contrib.slim.nets.ince
TensorFlow实现模型断点训练，checkpoint模型载入
Sesen的木屋
08-04 1万+
深度学习中，模型训练一般都需要很长的时间，由于很多原因，导致模型中断训练，下面介绍继续断点训练的方法。 方法一：载入模型时，不必指定迭代次数，一般默认最新 # 保存模型 saver = tf.train.Saver(max_to_keep=1) # 最多保留最新的模型 # 开启会话 with tf.Session() as sess: # saver.restore(sess, '...
Tensorflow: 从checkpoint文件中读取tensor
热门推荐
noirblack的专栏
05-08 1万+
在使用pre-train model时候，我们需要restore variables from checkpoint files. 经出现在checkpoint 中找不到”Tensor name not found”. 这时候需要查看一下ckpt中到底有哪些变量from tensorflow.python import pywrap_tensorflow checkpoint_path = os
tensorflow, 从指定ckpt中恢复variable
yichudu
11-28 1590
用途 使用 tf.train.init_from_checkpoint(ckpt_dir_or_file, assignment_map) ,可以从ckpt中导入变量值, 不必自己 initialize. assignment_map描述了 ckpt_var -> current_var 的映射关系. 普通 variable 当变量不分片时, graph中的name形如shared_emb_...
如何在1.1.4版本的tensorflow中import export_saved_model
05-30
在TensorFlow 1.1.4版本中，可以使用以下代码导入和导出SavedModel： 导入SavedModel： ```python import tensorflow as tf # Restore the saved model with tf.Session(graph=tf.Graph()) as sess: tf.saved_model.loader.load(sess, [tag_constants.SERVING], '/path/to/model') # Use the restored model ``` 导出SavedModel： ```python import tensorflow as tf # Build and train your model # Export the model as a SavedModel with tf.Session(graph=tf.Graph()) as sess: # Build the model graph # ... # Train the model # ... # Export the model as a SavedModel builder = tf.saved_model.builder.SavedModelBuilder('/path/to/export/dir') builder.add_meta_graph_and_variables(sess, [tag_constants.SERVING], signature_def_map={ 'predict': predict_signature_def, 'train': train_signature_def, # Add additional signature defs as needed }) builder.save() ``` 请注意，此代码是基于TensorFlow 1.1.4版本，如果您使用的是其他版本，则可能需要进行适当的修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值