求各位深度学习的大佬看看下面代码，为什么我的神经网络的测试集学习率总是在0.1左右？小白

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
#from tensorflow.examples.tutorials.mnist import  input_data
import input_data
mnist = input_data.read_data_sets('data',one_hot=True)
#导入数据和网络构建
n_hidden_1=128
n_hidden_2=4
n_input = 784
#10分类
n_classes=10

x=tf.placeholder("float",[None,n_input])
y=tf.placeholder("float",[None,n_classes])
#正态分布的标准差
stddev = 0.1
weights = {
    #高斯初始化
    'w1':tf.Variable(tf.random_normal([n_input,n_hidden_1],stddev=stddev)),
    'w2':tf.Variable(tf.random_normal([n_hidden_1,n_hidden_2],stddev=stddev)),
    'out':tf.Variable(tf.random_normal([n_hidden_2,n_classes],stddev=stddev))
}
biases={
    #偏置项也可以零值初始化
    'b1':tf.Variable(tf.random_normal([n_hidden_1])),
    'b2':tf.Variable(tf.random_normal([n_hidden_2])),
    'out':tf.Variable(tf.random_normal([n_classes]))
}
print("网络已经准备好")

#前向传播
def qiangxiangchuanbo(X,weights,biases):
    layer_1=tf.nn.sigmoid(tf.add(tf.matmul(X,weights['w1']),biases['b1']))
    layer_2=tf.nn.sigmoid(tf.add(tf.matmul(layer_1,weights['w2']),biases['b2']))
    return (tf.matmul(layer_2,weights['out']) + biases['out'])

#prediction
pred = qiangxiangchuanbo(x,weights,biases)

#损失和优化
#平均LOST 损失函数：交叉熵函数softmax_cross_entropy_with_logits(labels=pred,logits=y))
cost=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=pred,logits=y))
#优化器 学习率0.001 梯度下降
optm=tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(loss=cost)
#准确率
#argmax中第二个参数0表示的是按列比较返回最大值的索引，
# 1表示按行比较返回最大值的索引。
#对比这两个矩阵或者向量的相等的元素。
corr=tf.equal(tf.argmax(pred,1),tf.argmax(y,1))
#将corr的数据类型转换成float然后再除以n
accr=tf.reduce_mean(tf.cast(corr,"float"))
#初始化
init=tf.global_variables_initializer()
print("功能已准备好")

training_epochs=100
batch_size=64
display_step=10

sess=tf.Session()
sess.run(init)
#迭代
for epoch in  range(training_epochs):
    avg_cost=0.
    #total_batch=int(mnist.train.num_examples/batch_size)
    total_batch=100
    for i in range(total_batch):
        batch_xs,batch_ys=mnist.train.next_batch(batch_size)
        feeds={x:batch_xs,y:batch_ys}
        sess.run(optm,feed_dict=feeds)
        avg_cost += sess.run(cost,feed_dict=feeds)
    avg_cost = avg_cost / total_batch
    #显示在显示器上
    if (epoch-1)%display_step==0:
        print("Epoch :%03d/%03d cost: %.9f" % (epoch,training_epochs,avg_cost))
        train_feeds={x:batch_xs,y:batch_ys}
        train_acc=sess.run(accr,feed_dict=train_feeds)
        print("Train Accuracy: %.3f" % (train_acc))
        test_feeds={x:mnist.test.images,y:mnist.test.labels}
        test_acc=sess.run(accr,feed_dict=test_feeds)
        print("Test Accuracy: %.3f" % (test_acc))
print("结束")

 

 各位可以关注下面这个公众号，这个公众号会分享一些相关的技术型的文章或者开发遇到的常见问题。