tensorflow中的关键字global_step使用

最新推荐文章于 2024-08-13 22:48:20 发布

UESTC_C2_403

最新推荐文章于 2024-08-13 22:48:20 发布

阅读量3.2w

点赞数 4

分类专栏： tensorflow用法

本文链接：https://blog.csdn.net/uestc_c2_403/article/details/72403833

版权

全局步数(global_step)在TensorFlow中常用于滑动平均和学习率调整，它在优化器如tf.train.GradientDescentOptimizer中作为参数使用，系统自动从1开始递增。学习率随着global_steps的增加而变化，展示了训练过程。

摘要由CSDN通过智能技术生成

global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_steps)里面有，系统会自动更新这个参数的值，从1开始。

例如：

import tensorflow as tf;  
import numpy as np;  
import matplotlib.pyplot as plt;  

x = tf.placeholder(tf.float32, shape=[None, 1], name='x')
y = tf.placeholder(tf.float32, shape=[None, 1], name='y')
w = tf.Variable(tf.constant(0.0))

global_steps = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(0.1, global_steps, 10, 2, staircase=False)
loss = tf.pow(w*x-y, 2)

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_steps)

with tf.Session() as sess:
	sess.run(tf.initialize_all_variables())
	for i in range(10):
		sess.run(train_step, feed_dict={x:np.linspace(1,2,10).reshape([10,1]),
			y:np.li