指数衰减学习率的意义与使用方法

它的意义在于动态调节学习率，最本质的作用当优化到了一定的瓶颈后，出现当前的学习率已不适用于优化，相对而言，学习率偏大，迈的步子较大，到不了底部；即需要降低学习速率；

使用方法：

self.global_step = tf.Variable(0, trainable=False)#代表当前迭代次数，需要从session会话中取值，然后将这个参数的值传递到learning_rate与tf.train.RMSPropOptimizer中去

 learning_rate = tf.train.exponential_decay(initial_learning_rate,
                                           global_step=self.global_step,
                                           decay_steps=1000,decay_rate=0.2)

train_op=tf.train.RMSPropOptimizer(learning_rate).minimize(total_loss,global_step=self.global_step)

with tf.Session() as sess:
            sess.run(tf.global_variables_initializer())
            for i in range(hyper_para.epochs):     #这个迭代次数，可以更改，越大预测效果会更好，但需要更长时间
                #self.global_step=i #这种赋值方式会报错；
                sess.run(tf.assign(self.global_step,i))#这样才可以对tf.variable变量完成赋值；
                这样其实与tf.train.RMSPropOptimizer中的global_step重复了；该函数也会更新global_step函数；