TensorFlow踩坑记录一:tf.train.Saver()

tf.train.Saver(tf.contrib.framework.get_variables_to_restore(include=…,exclude=…))控制变量加载,即迁移学习

踩坑原因:
使用tf.train.Saver()创建一个Saver对象,因为使用了预训练模型,所以设置了Saver中需要加载和不需要加载的变量,但是我最后用这个Saver对象去保存训练得到的ckpt文件,结果就是ckpt文件中只保存了include中包含的变量,或者是保存除了exclude中包含的变量的其他变量

造成的bug:
重新加载前面保存的ckpt模型文件时,很多变量找不到,模型初始化失败,例如我的就是找不到global_step变量:
正常ckpt中包含global_step
正常ckpt中包含global_step
只用加载时的Saver对象保存ckpt,就没有global_step
只用加载时的Saver对象保存ckpt,就没有global_step

解决办法或原理
训练模型时重新创建一个Saver对象,如saver_to_save=tf.train.Saver(),保存ckpt时用这个Saver对象去保存,ckpt中就会存储所有的模型参数信息,也就是说需要创建两个Saver对象,一个用来控制加载预训练模型中的参数,一个用来保存训练的模型参数

tensorflow加载预训练模型应该是以现有图中的变量为基础来从ckpt中查找,如果不指定需要加载的变量,那么tensorflow就会认为当前图中的变量在checkpoint中都存在。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 你好,我理解你是想通过 CSDN 学习 C 知识,并且你也使用 ChatGPT 这种类型的 AI。请问你有什么问题需要我回答吗? 关于你提到的问题,我可以解释一下。tf.train.Saver() 是 TensorFlow 中用于保存和恢复模型的类。它允许你将 TensorFlow 变量保存到磁盘,并从这些变量中恢复。通常在训练过程中,你需要定期保存模型以便稍后恢复或进行推断。tf.train.Saver() 的常见用法如下: ```python import tensorflow as tf # 声明 TensorFlow 变量 weights = tf.Variable(...) biases = tf.Variable(...) # 初始化 TensorFlow 变量 init_op = tf.global_variables_initializer() # 训练模型 # 创建 Saver 对象 saver = tf.train.Saver() # 保存模型 with tf.Session() as sess: sess.run(init_op) # 训练模型 saver.save(sess, 'my_model') # 保存模型到文件 'my_model' ``` 当你需要恢复模型时,可以使用 tf.train.Saver() 的 restore() 方法,如下所示: ```python # 创建 Saver 对象 saver = tf.train.Saver() # 加载模型 with tf.Session() as sess: saver.restore(sess, 'my_model') # 从文件 'my_model' 恢复模型 # 执行推断 ``` 希望这可以回答你的问题。如果你有其他问题,请随时提出。 ### 回答2: tf.train.Saver()是一个用于保存、加载以及管理模型参数的类。在TensorFlow中,我们通常使用tf.train.Saver()来保存和恢复模型的变量。 在TensorFlow中,模型的训练过程通常会生成一些变量,比如神经网络的权重和偏差。而tf.train.Saver()类提供了一种方法,可以将这些变量保存到文件中。通过调用tf.train.Saver().save()方法,可以将模型的变量保存在一个checkpoint文件中,以供将来使用。 除了保存模型变量,tf.train.Saver()还可以用于加载已保存的模型变量。通过调用tf.train.Saver().restore()方法,可以从checkpoint文件中载入模型的变量,并且将其赋值给指定的TensorFlow变量。这样,我们就可以在程序中使用这些已保存的模型变量,而无需重新训练模型。 另外,tf.train.Saver()还具备一些其他的功能,比如可以指定保存和加载的变量以及保存和恢复模型的过程是否应该包含模型的图结构。 总结起来,tf.train.Saver()是一个用于保存、加载和管理TensorFlow模型参数的类。它提供了保存和恢复模型变量的功能,可以确保模型的训练结果可以方便地在之后的使用中进行加载和重用。 ### 回答3: tf.train.Saver()是tensorflow中用于模型参数的保存和恢复的类。 在tensorflow中,模型参数通常是在训练过程中不断更新的,而为了保留训练过程中的模型参数,我们可以使用tf.train.Saver()类来保存这些参数。tf.train.Saver()类提供了保存和恢复模型的方法,可以将模型的参数保存到文件中,并在需要的时候恢复这些参数。 保存模型参数是通过调用tf.train.Saver()类的save()方法实现的。save()方法需要传入一个session和一个保存路径,表示将当前模型的参数保存到指定的路径下。保存的参数可以是全局变量、权重、偏置等等。 恢复模型参数是通过调用tf.train.Saver()类的restore()方法实现的。restore()方法需要传入一个session和一个保存路径,表示从指定的路径中恢复模型的参数。恢复参数时,tensorflow会自动判断模型的参数是否与当前模型的参数匹配,如果匹配,则恢复参数;如果不匹配,则会抛出异常。 使用tf.train.Saver()类可以实现模型的断点续训。即在训练过程中,可以将当前的模型参数保存到文件中。如果训练过程中发生意外,可以在恢复训练时,加载之前保存的模型参数,从上一次中断的地方继续训练。 总之,tf.train.Saver()是tensorflow中用于保存和恢复模型参数的重要工具,它提供了方便的接口,使得我们可以灵活地管理模型参数,实现模型的保存、恢复和断点续训。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值