神经网络优化方法-学习率指数衰减法

学习率衰减（learning rate decay） 
在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊． 为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减

而最常用的方法是指数衰减法：

tf.train.exponential_decay()

指数衰减的学习速率计算公式为：

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)  

decayed_learning_rate-每一轮优化时使用的学习率

learning_rate - 初始学习率

decay_rate - 衰减系数

global_step - 训练迭代轮数，全局变量，也是函数的输入

decay_steps-衰减速度，即多少轮更新一次参数

例如：learning_rate=0.1，decay_rate=0.9，decay_steps=50,当global从0变为50时，decayed_learing_rate从0.1变为0.09.

如下为代码样例，参照：https://blog.csdn.net/akadiao/article/details/79560731 

#!/usr/bin/python
# coding:utf-8
import matp