优化函数中minimize中的globel_step作用

import tensorflow as tf;
import numpy as np;
x = tf.placeholder(tf.float32, shape=[None, 1], name='x')
y = tf.placeholder(tf.float32, shape=[None, 1], name='y')
w = tf.Variable(tf.constant(0.0))
global_steps = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(0.1, global_steps, 10, 0.5, staircase=False)
#step2：定义损失函数
#tf.pow-求幂函数
loss = tf.pow(w*x-y, 2)
#step3: 定义优化函数
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_steps)
#train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(10):
        sess.run(train_step, feed_dict={x:np.linspace(1,2,10).reshape([10,1]),\
                                        y:np.linspace(1,2,10).reshape([10,1])})
        #sess.run(tf.assign(global_steps,i))
        #print(sess.run(global_steps))
        print(sess.run(learning_rate),sess.run(global_steps))

学习率输出结果：

0.0933033 1
0.08705506 2
0.08122524 3
0.07578583 4
0.07071068 5
0.06597539 6
0.061557222 7
0.057434916 8
0.05358867 9

0.05 10

学习率在不断的更新；这说明global_steps的值在不断的更新；

将上述代码中的train_step修改如下：

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

学习率输出结果：

0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0

学习率不变化，全局步数也没有变化

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(10):
        sess.run(train_step, feed_dict={x:np.linspace(1,2,10).reshape([10,1]),\
                                        y:np.linspace(1,2,10).reshape([10,1])})
        sess.run(tf.assign(global_steps,i))

        print(sess.run(learning_rate),sess.run(global_steps))

输出：

0.1 0
0.0933033 1
0.08705506 2
0.08122524 3
0.07578583 4
0.07071068 5
0.06597539 6
0.061557222 7
0.057434916 8

0.05358867 9

global_steps = tf.Variable(0, trainable=False)
dd=global_steps
print(sess.run(learning_rate),sess.run(global_steps),sess.run(dd))
结果输出：
0.1 0 0
0.0933033 1 1
0.08705506 2 2
0.08122524 3 3
0.07578583 4 4
0.07071068 5 5
0.06597539 6 6
0.061557222 7 7
0.057434916 8 8
0.05358867 9 9
tf.variable赋值后，改变其一，另一个也跟着改变；说明两者保存相同的内存地址；而且learning_rate变化也证明了这一点；我只是改变global_step这个变量，并没有再传值到learning_rate这个函数，但也影响了learning_rate这个函数了，因为learning_rate这个函数中的参数保存了与global_step共同的地址；变量赋值操作后，最本质的是要看保存的内存地址是否一致；这里有一个错误的认识，以为值传入到了函数内部，函数内部的更新操作无法影响到函数外部的变量；

结论：minimize函数中global_step参数值每次迭代都会更新，而tf.variable的赋值操作是两个变量共享内存；等同于第三段代码；不同的是第一次传递进去时已经变成了1；