Tensorflow 学习速率的设置|学习速率的指数下降

1. import tensorflow as tf  
2. from numpy.random import RandomState  
3. w1 = tf.Variable(tf.truncated_normal([2,3],seed=1))  
4. w2 = tf.Variable(tf.truncated_normal([3,1],seed=1))  
5.   
6. x = tf.placeholder(dtype=tf.float32,shape=[None,2])  
7. y_real = tf.placeholder(dtype=tf.float32,shape=[None,1])  
8.   
9. a = tf.nn.relu(tf.matmul(x,w1))  #神经元的激活函数为 relu  
10. y_pre = tf.nn.relu(tf.matmul(a,w2))  
11.   
12. sample_size = 20000 #训练样本总数  
13. batch = 500 # 使用mini-batch（批梯度下降），每个batch的大小。  
14.   
15. rds = RandomState(0)  
16. X = rds.rand(sample_size,2)  
17. Y = [[int(20*x1+30*x2)]+rds.rand(1) for (x1,x2) in X]  
18.   
19. global_step = tf.Variable(0)  
20. #--------------学习速率的设置（学习速率呈指数下降）--------------------- #将 global_step/decay_steps 强制转换为整数  
21. learning_rate = tf.train.exponential_decay(1e-2,global_step,decay_steps=sample_size/batch,decay_rate=0.98,staircase=True)      
22. MSE = tf.reduce_mean(tf.square(y_real-y_pre)) # 使用均方误差（MSE）作为损失函数  
23. train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(MSE,global_step=global_step)  
24.   
25. step = 20000 #训练的总次数  
26. start = 0  
27. end = batch  
28.   
29. sess = tf.Session()  
30. sess.run(tf.global_variables_initializer())  
31. for i in range(step):  
32.     sess.run(train_step,feed_dict={x:X[start:end],y_real:Y[start:end]})  
33.     if not i%20:  
34.         H = sess.run(MSE,feed_dict={x:X[start:end],y_real:Y[start:end]})  
35.         lr = sess.run(learning_rate)  
36.         print ("MSE: ",H,"\t","learning_rate: ",lr)  
37.         if H<1e-1:  #采用stop early 的方法防止过拟合，节省训练时间。  
38.             break  
39.     strat = end if end<sample_size else 0  
40.     end = start+batch  
41. y1 = sess.run(y_pre,feed_dict={x:X[start:end]})  
42. y2 = Y[start:end]  
43. sess.close()     
44.   
45. #训练结果的部分展示  
46. for i in range(100):  
47.     print(y1[i],y2[i])