Tensorflow 中 tf.train.GradientDescentOptimizer 优化器详解

最新推荐文章于 2021-03-12 10:59:12 发布
最新推荐文章于 2021-03-12 10:59:12 发布
阅读量1.3w 收藏 15
点赞数 2
分类专栏： TensorFlow 学习 深度学习知识点笔记 文章标签： Tensorflow 中 tf.train.GradientDesce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanhuaibeian/article/details/100592840
版权 
tf.train.GradientDescentOptimizer(learning_rate, use_locking=False,name=’GradientDescent’)

learning_rate: A Tensor or a floating point value. 要使用的学习率
use_locking: 要是True的话，就对于更新操作（update operations.）使用锁
name: 名字，可选，默认是”GradientDescent”

minimize() 函数处理了梯度计算和参数更新两个操作
compute_gradients() 函数用于获取梯度
apply_gradients() 用于更新参数


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  南淮北安
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    15
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  8
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
TensorFlow优化器GradientDescentOptimizer

				
			

			

				

					拼命先生的AI之旅
				

				

					02-12
					
					1万+
					
				

			

		

		

			
				
类GradientDescentOptimizer

继承自:Optimizer

这是一个实现实现梯度下降算法的优化器类，用于构造一个新的梯度下降优化器实例

 

构造器方法__init__


__init__(
    learning_rate,
    use_locking = False,
    name = ' GradientDescent '
)

参数:

learnin...

			
		

	



                

              
                



	

		

			

				
					
TensorFlow 常用优化器：GradientDescent、Momentum、Adam

				
			

			

				

					聚集机器学习、信息安全
				

				

					05-23
					
					1549
					
				

			

		

		

			
				
TensorFlow 优化器：
GradientDescent
Momentum
Adam

			
		

	



                


  
              

                


	

		

			

				
					
tf.train.GradientDescentOptimizer().minimize()细致探索

				
			

			

				

					从此做一个俗人
				

				

					10-17
					
					1万+
					
				

			

		

		

			
				
1.tf.train.GradientDescentOptimizer().minimize()
其中的minimize可以拆为以下两个步骤：
① 梯度计算
② 将计算出来的梯度应用到变量的更新中
拆开的好处是，可以对计算的梯度进行限制，防止梯度消失和爆炸
#方法1：拆开为两部分
import tensorflow as tf
tf.reset_default_graph()

#创建变量
wit...

			
		

	





	

		

			

				
					
TensorFlow优化器GradientDescentOptimizer()函数

				
			

			

				

					qq_42546127的博客
				

				

					03-12
					
					4229
					
				

			

		

		

			
				
简介：

TensorFlow的optimizer类下的子类，属于优化器。实现的是梯度下降算法。



参数


__init__(
    learning_rate,
    use_locking=False,
    name='GradientDescent'
)



GradientDescentOptimizer初始化方法中包含三个参数

name:优化器名字
learning_rate: 学习率，控制参数的更新速度。过大过小都会影响算法的运算时间和结果，过大容易发散，过小运算时间太长。..

			
		

	



		

			
		



	

		

			

				
					
tf.train.GradientDescentOptimizer 优化器

				
			

			

				

					weixin_30278311的博客
				

				

					07-17
					
					3072
					
				

			

		

		

			
				
tf.train.GradientDescentOptimizer(learning_rate, use_locking=False,name=’GradientDescent’)
 参数：
learning_rate: A Tensor or a floating point value. 要使用的学习率
use_locking: 要是True的话，就对于更新操作（update operatio...

			
		

	





	

		

			

				
					
【tensorflotflow】train.GradientDescentOptimizer()、train.MomentumOptimizer()、train.AdamOptimizer()

				
			

			

				

					zhouzongzong的博客
				

				

					07-03
					
					1942
					
				

			

		

		

			
				
①tf.train.GradientDescentOptimizer()使用随机梯度下降算法，使参数沿着 梯度的反方向，即总损失减小的方向移动，实现更新参数。

②tf.train.MomentumOptimizer()在更新参数时，利用了超参数，参数更新公式是

其中，

			
		

	





	

		

			

				
					
Tensorflow中tf.ConfigProto()的用法详解

				
			

			

				

					09-18
				

			

		

		

			
				
在TensorFlow中，`tf.ConfigProto()` 是一个非常重要的工具，它允许用户自定义`tf.Session`的行为，特别是与硬件资源管理和性能优化相关的设置。通过创建一个`ConfigProto`对象，你可以控制TensorFlow运行时如何利用...

			
		

	





	

		

			

				
					
tensorflow tf.train.batch之数据批量读取方式

				
			

			

				

					09-18
				

			

		

		

			
				
今天小编就为大家分享一篇tensorflow tf.train.batch之数据批量读取方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
tensorflow中tf.reduce_mean函数的使用

				
			

			

				

					09-17
				

			

		

		

			
				
主要介绍了tensorflow中tf.reduce_mean函数的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

			
		

	





	

		

			

				
					
对tensorflow中tf.nn.conv1d和layers.conv1d的区别详解

				
			

			

				

					09-17
				

			

		

		

			
				
在TensorFlow中，`tf.nn.conv1d`和`layers.conv1d`都是用于执行一维卷积操作的函数，但它们在实现细节和使用上存在一些差异。这篇文章将深入探讨这两个函数的区别，并帮助理解它们在构建一维卷积神经网络（1D CNN）...

			
		

	





	

		

			

				
					
tensorflow中tf.slice和tf.gather切片函数的使用

				
			

			

				

					09-18
				

			

		

		

			
				
在TensorFlow库中，`tf.slice`和`tf.gather`是两个用于处理多维数组（张量）的切片函数，它们可以帮助我们提取张量中的特定部分。这两个函数在处理大规模数据时非常有用，特别是在构建复杂的神经网络模型时。  首先...

			
		

	





	

		

			

				
					
tf.train

				
			

			

				

					佩韦的博客
				

				

					12-20
					
					2688
					
				

			

		

		

			
				
tf.train前言tf.train属于Training类，一般用于梯度的计算。由于使用缘故探究下tf.train的简单用法。官方1.tf.train.GradientDescentOptimizerOptimizer that implements the gradient descent algorithm.tf.train.GradientDescentOptimizer.__init__(l

			
		

	





	

		

			

				
					
tf.train.AdamOptimizer 优化器

				
			

			

				

					weixin_30603633的博客
				

				

					07-17
					
					978
					
				

			

		

		

			
				
adaptive moment estimation(自适应矩估计)
tf.train.AdamOptimizer(
    learning_rate=0.001,
    beta1=0.9,
    beta2=0.999,
    epsilon=1e-08,
    use_locking=False,
    name='Adam'
)
参数：
learning_rate: （学习率）...

			
		

	





	

		

			

				
					
TF0006、优化器AdamOptimizer和GradientDescentOptimizer

				
			

			

				

					霜剑道人
				

				

					02-14
					
					917
					
				

			

		

		

			
				
本文以MNIST数据集为例，构造输入层为784，输出层为10的简单神经网络，分别使用常用优化器AdamOptimizer和GradientDescentOptimizer，进行对比。

请先将MNIST数据集下载到本地，下载地址链接：https://pan.baidu.com/s/1ZlfUjopsi-ffpxMSPuZi5A 提取码：yte2

1、加载数据集


import tensorfl...

			
		

	





	

		

			

				
					
机器学习(7)--梯度下降法（GradientDescent）的简单实现

				
			

			

				

					雨落那秋林
				

				

					02-06
					
					1797
					
				

			

		

		

			
				
曾经在  机器学习(1)--神经网络初探  详细介绍了神经网络基本的算法，在该文中有一句
weights[i] += 0.2 * layer.T.dot(delta)  #0.2学习效率，应该是一个小于0.5的数，同时在  
tensorflow实例(2)--机器学习初试 篇文章中用tensorflow实现上述的神经网络算法，该文中也有一句
train=tf.train.GradientDe

			
		

	





	

		

			

				
					
TensorFlow-梯度下降优化

				
			

			

				

					cunzai1985的博客
				

				

					09-22
					
					114
					
				

			

		

		

			
				
TensorFlow-梯度下降优化 (TensorFlow - Gradient Descent Optimization)


Advertisements
 广告 

 Previous Page

  上一页 

Next Page 

 下一页  
Gradient descent optimization is considered to be an important concep...

			
		

	





	

		

			

				
					
TensorFlow笔记（十二）——tf.train中的Optimizer相关的函数与功能介绍

				
			

			

				

					qq_37764129的博客
				

				

					06-29
					
					4942
					
				

			

		

		

			
				
目录

1、序言

2、Tensorflow函数

2.1 训练 (Training)

█优化 (Optimizers)

█Slots

█协调器和队列运行器(Coordinator and QueueRunner)

1、序言

本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作，在训练过程中，先实例化一个优化函数，比如 ...

			
		

	





	

		

			

				
					
Tensorflow一些常用基本概念与函数（4）

					
热门推荐

				
			

			

				

					lenbow的博客
				

				

					08-16
					
					11万+
					
				

			

		

		

			
				
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。

			
		

	





	

		

			

				
					
tensorflow + GradientDescentOptimizer 拟合直线

				
			

			

				

					Thomas会写字
				

				

					02-24
					
					202
					
				

			

		

		

			
				
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

def LineModel(SrcX, SrcK, SrcB):
    return tf.matmul(SrcX, SrcK) + SrcB

DataNum = 100
SrcX = np.linspace(-1, 1, num=DataNum)
SrcX = np.reshape(SrcX, [DataNum, 1])
SrcY = SrcX * .

			
		

	





	

		

			

				
					
tensorflow中的tf.train.Saver()

					
最新发布

				
			

			

				

					08-08
				

			

		

		

			
				
### 回答1：
你好，我理解你是想通过 CSDN 学习 C 知识，并且你也使用 ChatGPT 这种类型的 AI。请问你有什么问题需要我回答吗？

关于你提到的问题，我可以解释一下。tf.train.Saver() 是 TensorFlow 中用于保存和恢复模型的类。它允许你将 TensorFlow 变量保存到磁盘，并从这些变量中恢复。通常在训练过程中，你需要定期保存模型以便稍后恢复或进行推断。tf.train.Saver() 的常见用法如下：

```python
import tensorflow as tf

# 声明 TensorFlow 变量
weights = tf.Variable(...)
biases = tf.Variable(...)

# 初始化 TensorFlow 变量
init_op = tf.global_variables_initializer()

# 训练模型

# 创建 Saver 对象
saver = tf.train.Saver()

# 保存模型
with tf.Session() as sess:
    sess.run(init_op)
    # 训练模型
    saver.save(sess, 'my_model')  # 保存模型到文件 'my_model'
```

当你需要恢复模型时，可以使用 tf.train.Saver() 的 restore() 方法，如下所示：

```python
# 创建 Saver 对象
saver = tf.train.Saver()

# 加载模型
with tf.Session() as sess:
    saver.restore(sess, 'my_model')  # 从文件 'my_model' 恢复模型
    # 执行推断
```

希望这可以回答你的问题。如果你有其他问题，请随时提出。  

### 回答2：
tf.train.Saver()是一个用于保存、加载以及管理模型参数的类。在TensorFlow中，我们通常使用tf.train.Saver()来保存和恢复模型的变量。

在TensorFlow中，模型的训练过程通常会生成一些变量，比如神经网络的权重和偏差。而tf.train.Saver()类提供了一种方法，可以将这些变量保存到文件中。通过调用tf.train.Saver().save()方法，可以将模型的变量保存在一个checkpoint文件中，以供将来使用。

除了保存模型变量，tf.train.Saver()还可以用于加载已保存的模型变量。通过调用tf.train.Saver().restore()方法，可以从checkpoint文件中载入模型的变量，并且将其赋值给指定的TensorFlow变量。这样，我们就可以在程序中使用这些已保存的模型变量，而无需重新训练模型。

另外，tf.train.Saver()还具备一些其他的功能，比如可以指定保存和加载的变量以及保存和恢复模型的过程是否应该包含模型的图结构。

总结起来，tf.train.Saver()是一个用于保存、加载和管理TensorFlow模型参数的类。它提供了保存和恢复模型变量的功能，可以确保模型的训练结果可以方便地在之后的使用中进行加载和重用。  

### 回答3：
tf.train.Saver()是tensorflow中用于模型参数的保存和恢复的类。

在tensorflow中，模型参数通常是在训练过程中不断更新的，而为了保留训练过程中的模型参数，我们可以使用tf.train.Saver()类来保存这些参数。tf.train.Saver()类提供了保存和恢复模型的方法，可以将模型的参数保存到文件中，并在需要的时候恢复这些参数。

保存模型参数是通过调用tf.train.Saver()类的save()方法实现的。save()方法需要传入一个session和一个保存路径，表示将当前模型的参数保存到指定的路径下。保存的参数可以是全局变量、权重、偏置等等。

恢复模型参数是通过调用tf.train.Saver()类的restore()方法实现的。restore()方法需要传入一个session和一个保存路径，表示从指定的路径中恢复模型的参数。恢复参数时，tensorflow会自动判断模型的参数是否与当前模型的参数匹配，如果匹配，则恢复参数；如果不匹配，则会抛出异常。

使用tf.train.Saver()类可以实现模型的断点续训。即在训练过程中，可以将当前的模型参数保存到文件中。如果训练过程中发生意外，可以在恢复训练时，加载之前保存的模型参数，从上一次中断的地方继续训练。

总之，tf.train.Saver()是tensorflow中用于保存和恢复模型参数的重要工具，它提供了方便的接口，使得我们可以灵活地管理模型参数，实现模型的保存、恢复和断点续训。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
南淮北安

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值