Tensorflow 中 tf.train.GradientDescentOptimizer 优化器详解

最新推荐文章于 2021-03-12 10:59:12 发布
最新推荐文章于 2021-03-12 10:59:12 发布
阅读量1.3w 收藏 15
点赞数 2
分类专栏： TensorFlow 学习 深度学习知识点笔记 文章标签： Tensorflow 中 tf.train.GradientDesce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanhuaibeian/article/details/100592840
版权 
tf.train.GradientDescentOptimizer(learning_rate, use_locking=False,name=’GradientDescent’)

learning_rate: A Tensor or a floating point value. 要使用的学习率
use_locking: 要是True的话，就对于更新操作（update operations.）使用锁
name: 名字，可选，默认是”GradientDescent”

minimize() 函数处理了梯度计算和参数更新两个操作
compute_gradients() 函数用于获取梯度
apply_gradients() 用于更新参数


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  南淮北安
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    15
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  8
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
TensorFlow优化器GradientDescentOptimizer

				
			

			

				

					拼命先生的AI之旅
				

				

					02-12
					
					1万+
					
				

			

		

		

			
				
类GradientDescentOptimizer

继承自:Optimizer

这是一个实现实现梯度下降算法的优化器类，用于构造一个新的梯度下降优化器实例

 

构造器方法__init__


__init__(
    learning_rate,
    use_locking = False,
    name = ' GradientDescent '
)

参数:

learnin...

			
		

	



                

              
                



	

		

			

				
					
tf.train.GradientDescentOptimizer().minimize()细致探索

				
			

			

				

					从此做一个俗人
				

				

					10-17
					
					1万+
					
				

			

		

		

			
				
1.tf.train.GradientDescentOptimizer().minimize()
其中的minimize可以拆为以下两个步骤：
① 梯度计算
② 将计算出来的梯度应用到变量的更新中
拆开的好处是，可以对计算的梯度进行限制，防止梯度消失和爆炸
#方法1：拆开为两部分
import tensorflow as tf
tf.reset_default_graph()

#创建变量
wit...

			
		

	



                


  
              

                


	

		

			

				
					
TensorFlow优化器GradientDescentOptimizer()函数

				
			

			

				

					qq_42546127的博客
				

				

					03-12
					
					4258
					
				

			

		

		

			
				
简介：

TensorFlow的optimizer类下的子类，属于优化器。实现的是梯度下降算法。



参数


__init__(
    learning_rate,
    use_locking=False,
    name='GradientDescent'
)



GradientDescentOptimizer初始化方法中包含三个参数

name:优化器名字
learning_rate: 学习率，控制参数的更新速度。过大过小都会影响算法的运算时间和结果，过大容易发散，过小运算时间太长。..

			
		

	





	

		

			

				
					
tf.train.GradientDescentOptimizer 优化器

				
			

			

				

					weixin_30278311的博客
				

				

					07-17
					
					3073
					
				

			

		

		

			
				
tf.train.GradientDescentOptimizer(learning_rate, use_locking=False,name=’GradientDescent’)
 参数：
learning_rate: A Tensor or a floating point value. 要使用的学习率
use_locking: 要是True的话，就对于更新操作（update operatio...

			
		

	



		

			
		



	

		

			

				
					
【tensorflotflow】train.GradientDescentOptimizer()、train.MomentumOptimizer()、train.AdamOptimizer()

				
			

			

				

					zhouzongzong的博客
				

				

					07-03
					
					1943
					
				

			

		

		

			
				
①tf.train.GradientDescentOptimizer()使用随机梯度下降算法，使参数沿着 梯度的反方向，即总损失减小的方向移动，实现更新参数。

②tf.train.MomentumOptimizer()在更新参数时，利用了超参数，参数更新公式是

其中，

			
		

	





	

		

			

				
					
tensorflow-master.zip

				
			

			

				

					04-26
				

			

		

		

			
				
Keras提供了一系列预定义的层、损失函数和优化器，可以快速搭建和训练深度学习模型。  总的来说，TensorFlow是一个强大且灵活的深度学习框架，无论是新手还是经验丰富的开发者都能从中受益。面对“examples”文件夹...

			
		

	





	

		

			

				
					
对TensorFlow的assign赋值用法详解

				
			

			

				

					09-20
				

			

		

		

			
				
 optimizer = tf.train.GradientDescentOptimizer(0.5)  train = optimizer.minimize(loss)   init = tf.global_variables_initializer()   sess = tf.InteractiveSession()  sess.run(init)   for step in range...

			
		

	





	

		

			

				
					
详解用TensorFlow实现逻辑回归算法

				
			

			

				

					09-20
				

			

		

		

			
				
在TensorFlow中，我们可以使用`tf.train.GradientDescentOptimizer()`或其他优化器，并指定学习率。  然后，定义训练操作，这将执行优化器的一步更新。在每次迭代中，我们都会从训练集中选取一部分数据（批次）来...

			
		

	





	

		

			

				
					
tensorflow教程

				
			

			

				

					11-23
				

			

		

		

			
				
TensorFlow 提供了多种损失函数（如 `tf.losses.mean_squared_error`）和优化器（如 `tf.train.AdamOptimizer`）。评估通常在验证集或测试集上进行。  ### 9. 模型保存与恢复  完成训练后，可以将模型参数保存到文件...

			
		

	





	

		

			

				
					
用tensorflow实现弹性网络回归算法

				
			

			

				

					09-20
				

			

		

		

			
				
完成损失函数定义后，需要初始化所有变量，声明优化器，并通过迭代训练来拟合模型参数。  ```python init = tf.global_variables_initializer() sess.run(init)  my_opt = tf.train.GradientDescentOptimizer...

			
		

	





	

		

			

				
					
tf.train

				
			

			

				

					佩韦的博客
				

				

					12-20
					
					2692
					
				

			

		

		

			
				
tf.train前言tf.train属于Training类，一般用于梯度的计算。由于使用缘故探究下tf.train的简单用法。官方1.tf.train.GradientDescentOptimizerOptimizer that implements the gradient descent algorithm.tf.train.GradientDescentOptimizer.__init__(l

			
		

	





	

		

			

				
					
tf.train.AdamOptimizer 优化器

				
			

			

				

					weixin_30603633的博客
				

				

					07-17
					
					980
					
				

			

		

		

			
				
adaptive moment estimation(自适应矩估计)
tf.train.AdamOptimizer(
    learning_rate=0.001,
    beta1=0.9,
    beta2=0.999,
    epsilon=1e-08,
    use_locking=False,
    name='Adam'
)
参数：
learning_rate: （学习率）...

			
		

	





	

		

			

				
					
TensorFlow 常用优化器：GradientDescent、Momentum、Adam

				
			

			

				

					聚集机器学习、信息安全
				

				

					05-23
					
					1554
					
				

			

		

		

			
				
TensorFlow 优化器：
GradientDescent
Momentum
Adam

			
		

	





	

		

			

				
					
TF0006、优化器AdamOptimizer和GradientDescentOptimizer

				
			

			

				

					霜剑道人
				

				

					02-14
					
					919
					
				

			

		

		

			
				
本文以MNIST数据集为例，构造输入层为784，输出层为10的简单神经网络，分别使用常用优化器AdamOptimizer和GradientDescentOptimizer，进行对比。

请先将MNIST数据集下载到本地，下载地址链接：https://pan.baidu.com/s/1ZlfUjopsi-ffpxMSPuZi5A 提取码：yte2

1、加载数据集


import tensorfl...

			
		

	





	

		

			

				
					
机器学习(7)--梯度下降法（GradientDescent）的简单实现

				
			

			

				

					雨落那秋林
				

				

					02-06
					
					1802
					
				

			

		

		

			
				
曾经在  机器学习(1)--神经网络初探  详细介绍了神经网络基本的算法，在该文中有一句
weights[i] += 0.2 * layer.T.dot(delta)  #0.2学习效率，应该是一个小于0.5的数，同时在  
tensorflow实例(2)--机器学习初试 篇文章中用tensorflow实现上述的神经网络算法，该文中也有一句
train=tf.train.GradientDe

			
		

	





	

		

			

				
					
TensorFlow-梯度下降优化

				
			

			

				

					cunzai1985的博客
				

				

					09-22
					
					117
					
				

			

		

		

			
				
TensorFlow-梯度下降优化 (TensorFlow - Gradient Descent Optimization)


Advertisements
 广告 

 Previous Page

  上一页 

Next Page 

 下一页  
Gradient descent optimization is considered to be an important concep...

			
		

	





	

		

			

				
					
TensorFlow笔记（十二）——tf.train中的Optimizer相关的函数与功能介绍

				
			

			

				

					qq_37764129的博客
				

				

					06-29
					
					4955
					
				

			

		

		

			
				
目录

1、序言

2、Tensorflow函数

2.1 训练 (Training)

█优化 (Optimizers)

█Slots

█协调器和队列运行器(Coordinator and QueueRunner)

1、序言

本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作，在训练过程中，先实例化一个优化函数，比如 ...

			
		

	





	

		

			

				
					
Tensorflow一些常用基本概念与函数（4）

					
热门推荐

				
			

			

				

					lenbow的博客
				

				

					08-16
					
					11万+
					
				

			

		

		

			
				
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。

			
		

	





	

		

			

				
					
tensorflow + GradientDescentOptimizer 拟合直线

				
			

			

				

					Thomas会写字
				

				

					02-24
					
					204
					
				

			

		

		

			
				
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

def LineModel(SrcX, SrcK, SrcB):
    return tf.matmul(SrcX, SrcK) + SrcB

DataNum = 100
SrcX = np.linspace(-1, 1, num=DataNum)
SrcX = np.reshape(SrcX, [DataNum, 1])
SrcY = SrcX * .

			
		

	





	

		

			

				
					
tensorflow中的tf.train.Saver()

					
最新发布

				
			

			

				

					08-08
				

			

		

		

			
				
tf.train.Saver() 是 TensorFlow 中用于保存和恢复模型的类。它允许你将 TensorFlow 变量保存到磁盘，并从这些变量中恢复。通常在训练过程中，你需要定期保存模型以便稍后恢复或进行推断。tf.train.Saver() 的常见...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 8

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
南淮北安

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值