Tensorflow tf.train库

最新推荐文章于 2020-11-05 07:28:05 发布
最新推荐文章于 2020-11-05 07:28:05 发布
阅读量1.7k 收藏 23
点赞数 1
分类专栏： 深度学习 文章标签： TensorFlow tf.train库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42805483/article/details/98379129
版权

tf.train库包含优化器设置、梯度更新、梯度计算、梯度裁剪、学习率衰减等训练过程中需要用到的API函数

1.优化器设置
2.优化器最小化loss
3.梯度裁剪
4.学习率衰减
5.例子：应用梯度裁剪、学习率衰减、优化器设置和loss最小化

1.优化器设置

1.1 随机梯度下降法(SGD)优化器

tf.train.GradientDescentOptimizer.(learning_rate, use_locking=False, 
								   name='GradientDescent')
功能：创建随机梯度下降法SGD优化器，
learning_rate: 学习率，一个Tensor或者一个浮点数
use_locking：是否使用locks来更新操作
返回：一个优化器

随机梯度下降法的梯度更新公式
在这里插入图片描述
梯度下降算法是用的最普遍的优化算法，不过选择合适的learning rate比较困难，且SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点，还存在稀疏特征更新问题（不常出现的特征更新慢，如word2vec的embedding矩阵）。

1.2 Momentum梯度下降法优化器

tf.train.MomentumOptimizer.(learning_rate, momentum, use_locking=False, name='Momentum')
功能：创建Momentum优化器，
learning_rate: 学习率，一个Tensor或者一个浮点数
momentum：动量值，一个Tensor或者一个浮点数
use_locking：是否使用locks来更新操作
返回：一个优化器

Momentum梯度下降法的梯度更新公式

其中，η为学习率，超参数为?，?为更新参数，参数对应的?t为梯度，mt为累计动量。
momentum是模拟物理里动量的概念，积累之前的动量来替代真正的梯度，引入惯量缓解局部最优问题但是未解决稀疏特征更新问题

1.3 AdaG梯度下降法优化器

tf.train.AdagradOptimizer.(learning_rate, initial_accumulator_value=0.1,
						   use_locking=False, name='Adagrad')
功能：创建AdaG优化器，
learning_rate: 学习率，一个Tensor或者一个浮点数
initial_accumulator_value：初始累计值，一个正浮点数
use_locking：是否使用locks来更新操作
返回：一个优化器

AdaG梯度下降法的梯度更新公式
在这里插入图片描述
其中，η为学习率，?为更新参数，参数对应的?t为梯度
在时间步长中，Adagrad方法基于每个参数计算的过往梯度，为不同参数θ设置不同的学习率。
一开始，每个参数θ使用相同的学习率，每次会对所有参数θ进行更新。在每个时间步中，Adagrad方法为每个参数θ选取不同的学习率，更新对应参数，然后进行向量化。，Adagrad方法非常适合处理稀疏数据

1.4 Adam梯度下降法优化器


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  晴天stick
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    23
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Tensorflow一些常用基本概念与函数（4）

				
			

			

				

					lenbow的博客
				

				

					08-16
					
					11万+
					
				

			

		

		

			
				
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。

			
		

	



                

              
                



	

		

			

				
					
关于Tensorflow中的tf.train.batch函数的使用

				
			

			

				

					09-20
				

			

		

		

			
				
本篇文章主要介绍了关于Tensorflow中的tf.train.batch函数的使用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

			
		

	



                


  
              

                


	

		

			

				
					
tf.train

				
			

			

				

					佩韦的博客
				

				

					12-20
					
					2689
					
				

			

		

		

			
				
tf.train前言tf.train属于Training类，一般用于梯度的计算。由于使用缘故探究下tf.train的简单用法。官方1.tf.train.GradientDescentOptimizerOptimizer that implements the gradient descent algorithm.tf.train.GradientDescentOptimizer.__init__(l

			
		

	





	

		

			

				
					
tf.train（优化算法）

				
			

			

				

					法相的博客
				

				

					05-23
					
					3859
					
				

			

		

		

			
				
tf 下以大写字母开头的含义为名词的一般表示一个类（class） 
1. 优化器（optimizer） 
优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：

tf.train.Optimizer 
tf.train.GradientDescentOptimizer 
tf.trai...

			
		

	



		

			
		



	

		

			

				
					
Tensorflow中的tf.keras库

				
			

			

				

					Erick Lv的笔记
				

				

					06-21
					
					5855
					
				

			

		

		

			
				
tf.keras.utils



tf.keras.utils.get_file()

从远程网址下载数据，并保存到文件中。下载之前先进行检查，如果文件存在，就直接读取。 
例如：

train_path = tf.keras.utils.get_file(fname=TRAIN_URL.split('/')[-1],
                                      ...

			
		

	





	

		

			

				
					
tensorflow tf.train.batch之数据批量读取方式

				
			

			

				

					09-18
				

			

		

		

			
				
今天小编就为大家分享一篇tensorflow tf.train.batch之数据批量读取方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
TensorFlow入门使用 tf.train.Saver()保存模型

				
			

			

				

					09-20
				

			

		

		

			
				
主要介绍了TensorFlow入门使用 tf.train.Saver()保存模型，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
TensorFlow Train篇

				
			

			

				

					tingxueyou的专栏
				

				

					10-10
					
					9734
					
				

			

		

		

			
				
Tensorflow  Training Optimizers 类

			
		

	





	

		

			

				
					
TensorFlow 实战（二）—— tf.train（优化算法）

				
			

			

				

					weixin_30467087的博客
				

				

					03-11
					
					519
					
				

			

		

		

			
				
Training  |  TensorFlow


tf 下以大写字母开头的含义为名词的一般表示一个类（class）




1. 优化器（optimizer）

优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：


tf.train.Optimi...

			
		

	





	

		

			

				
					
tf.train模块

				
			

			

				

					weixin_43213607的博客
				

				

					10-24
					
					111
					
				

			

		

		

			
				
在tensorflow2.x中，tf.train模块有个用于是用来创建检查点及其管理器，记录模型训练状态和恢复
在tensorflow1.x中，tf.train模块用于图模式下创建优化器节点



			
		

	





	

		

			

				
					
tensorflow库用法

				
			

			

				

					zhjadsf的博客
				

				

					11-05
					
					1492
					
				

			

		

		

			
				
tensorflow库用法（以下简称tf）：
Tensorflow使用的是静态计算图, 需要先建立起计算图(此时不需要进行计算), 再进行前向传播和反向传播. Pytorch使用的是动态计算图, 不需要事先建立计算图,随前向传播逐步建立起来, 但这有一个缺点就是每次迭代都要生成一遍同样的计算图, 花费了更多的时间.
tf的reshape跟np的, torch的无异,不过tf使用的图片数据格式稍有不...

			
		

	





	

		

			

				
					
tensorflow/train训练指令

				
			

			

				

					qq_43373608的博客
				

				

					09-07
					
					1174
					
				

			

		

		

			
				
由于tensorflow models 训练指令过于麻烦，本人将一些 文件放到了 自建的training目录
并记录下训练指令
//cd 到training目录
//生成csv文件
python3 xml_to_csv.py
//cd training
//生成tfrecord文件
//训练集 ，测试集各执行一次
python3 product_tfrecord.py --csv_input=da...

			
		

	





	

		

			

				
					
tf.train.NewCheckpointReader

				
			

			

				

					liugan528的博客
				

				

					11-05
					
					2409
					
				

			

		

		

			
				
保存训练模型的时候不仅持久化了计算图结构，也持久化了变量的取值。
TensorFlow提供的tf.train.NewCheckpointReader类来查看保存的变量的信息。
import tensorflow as tf

v1 = tf.Variable(tf.constant(1.0,tf.float32, [1]),name='v1')
v2 = tf.Variable(tf.constant(2.0,tf.float32, [1]),name='v2')

result = v1 + v2
sav

			
		

	





	

		

			

				
					
tf.train.exponential_decay()用法

				
			

			

				

					lllxxq141592654的博客
				

				

					11-15
					
					1万+
					
				

			

		

		

			
				
tf.train.exponential_decay()官网链接
tf.train.exponential_decay(
    learning_rate,
    global_step,
    decay_steps,
    decay_rate,
    staircase=False,
    name=None
)

一句话描述：对学习率learning_rate应用指数衰减。
多...

			
		

	





	

		

			

				
					
tf.train.AdamOptimizer()函数解析

					
热门推荐

				
			

			

				

					赵凯月的博客
				

				

					08-05
					
					2万+
					
				

			

		

		

			
				
tf.train.AdamOptimizer()函数是Adam优化算法：是一个寻找全局最优点的优化算法，引入了二次方梯度校正。
tf.train.AdamOptimizer.__init__(
	learning_rate=0.001, 
	beta1=0.9, 
	beta2=0.999, 
	epsilon=1e-08, 
	use_locking=False, 
	name='Adam'
)...

			
		

	





	

		

			

				
					
tf.train.ExponentialMovingAverage用法和说明

				
			

			

				

					张帅的博客
				

				

					02-18
					
					2619
					
				

			

		

		

			
				
在这篇博客中对tf.train.ExponentialMovingAverage讲的很清楚，这里主要补充几点说明： 
第一点：


  当程序执行到 ema_op = ema.apply([w]) 的时候，如果 w 是 Variable， 那么将会用 w 的初始值初始化 ema 中关于 w 的 ema_value，所以 emaVal0=1.0。如果 w 是 Tensor的话，将会用 0.0 初始化...

			
		

	





	

		

			

				
					
tensorflow学习笔记(一）：为什么要使用tf，tf是什么

				
			

			

				

					sinat_33027857的博客
				

				

					04-19
					
					3513
					
				

			

		

		

			
				
写在前面：        计划通过TensorFlow 中文社区上来学习tf，本来是直接从python API文档开始，看了IMAGE, ARRAY OPS这两个章节，虽说没有完全熟悉并掌握，但是也了解了都有哪些相关的函数，能实现哪些功能。虽说是英文的文档，但是看起来也不太费力，反而在看懂了之后有一些额外的成就感。然后开始看IO OPS ，内容不是很多，但是有很多知识点，如队列，会话等会产生困惑，...

			
		

	





	

		

			

				
					
TensorFlow第六步： 继续挖坑 用tf重写BP并增加SGD

				
			

			

				

					lijil168的专栏
				

				

					09-13
					
					644
					
				

			

		

		

			
				
用 tf重写BP，并增加SGD：


# coding=utf-8
import os  
os.environ["TF_CPP_MIN_LOG_LEVEL"]='2' # 只显示 warning 和 Error 
 
import numpy as np
import tensorflow as tf
import random
#import matplotlib.pyplot as plt
...

			
		

	





	

		

			

				
					
tensorflow中的tf.train.Saver()

					
最新发布

				
			

			

				

					08-08
				

			

		

		

			
				
### 回答1：
你好，我理解你是想通过 CSDN 学习 C 知识，并且你也使用 ChatGPT 这种类型的 AI。请问你有什么问题需要我回答吗？

关于你提到的问题，我可以解释一下。tf.train.Saver() 是 TensorFlow 中用于保存和恢复模型的类。它允许你将 TensorFlow 变量保存到磁盘，并从这些变量中恢复。通常在训练过程中，你需要定期保存模型以便稍后恢复或进行推断。tf.train.Saver() 的常见用法如下：

```python
import tensorflow as tf

# 声明 TensorFlow 变量
weights = tf.Variable(...)
biases = tf.Variable(...)

# 初始化 TensorFlow 变量
init_op = tf.global_variables_initializer()

# 训练模型

# 创建 Saver 对象
saver = tf.train.Saver()

# 保存模型
with tf.Session() as sess:
    sess.run(init_op)
    # 训练模型
    saver.save(sess, 'my_model')  # 保存模型到文件 'my_model'
```

当你需要恢复模型时，可以使用 tf.train.Saver() 的 restore() 方法，如下所示：

```python
# 创建 Saver 对象
saver = tf.train.Saver()

# 加载模型
with tf.Session() as sess:
    saver.restore(sess, 'my_model')  # 从文件 'my_model' 恢复模型
    # 执行推断
```

希望这可以回答你的问题。如果你有其他问题，请随时提出。  

### 回答2：
tf.train.Saver()是一个用于保存、加载以及管理模型参数的类。在TensorFlow中，我们通常使用tf.train.Saver()来保存和恢复模型的变量。

在TensorFlow中，模型的训练过程通常会生成一些变量，比如神经网络的权重和偏差。而tf.train.Saver()类提供了一种方法，可以将这些变量保存到文件中。通过调用tf.train.Saver().save()方法，可以将模型的变量保存在一个checkpoint文件中，以供将来使用。

除了保存模型变量，tf.train.Saver()还可以用于加载已保存的模型变量。通过调用tf.train.Saver().restore()方法，可以从checkpoint文件中载入模型的变量，并且将其赋值给指定的TensorFlow变量。这样，我们就可以在程序中使用这些已保存的模型变量，而无需重新训练模型。

另外，tf.train.Saver()还具备一些其他的功能，比如可以指定保存和加载的变量以及保存和恢复模型的过程是否应该包含模型的图结构。

总结起来，tf.train.Saver()是一个用于保存、加载和管理TensorFlow模型参数的类。它提供了保存和恢复模型变量的功能，可以确保模型的训练结果可以方便地在之后的使用中进行加载和重用。  

### 回答3：
tf.train.Saver()是tensorflow中用于模型参数的保存和恢复的类。

在tensorflow中，模型参数通常是在训练过程中不断更新的，而为了保留训练过程中的模型参数，我们可以使用tf.train.Saver()类来保存这些参数。tf.train.Saver()类提供了保存和恢复模型的方法，可以将模型的参数保存到文件中，并在需要的时候恢复这些参数。

保存模型参数是通过调用tf.train.Saver()类的save()方法实现的。save()方法需要传入一个session和一个保存路径，表示将当前模型的参数保存到指定的路径下。保存的参数可以是全局变量、权重、偏置等等。

恢复模型参数是通过调用tf.train.Saver()类的restore()方法实现的。restore()方法需要传入一个session和一个保存路径，表示从指定的路径中恢复模型的参数。恢复参数时，tensorflow会自动判断模型的参数是否与当前模型的参数匹配，如果匹配，则恢复参数；如果不匹配，则会抛出异常。

使用tf.train.Saver()类可以实现模型的断点续训。即在训练过程中，可以将当前的模型参数保存到文件中。如果训练过程中发生意外，可以在恢复训练时，加载之前保存的模型参数，从上一次中断的地方继续训练。

总之，tf.train.Saver()是tensorflow中用于保存和恢复模型参数的重要工具，它提供了方便的接口，使得我们可以灵活地管理模型参数，实现模型的保存、恢复和断点续训。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
晴天stick

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值