Tensorflow 进行MNIST手写字体识别中权重初始化问题

在对卷积层及池化层进行权重初始化时，
激活函数为 sigmoid 时：

def weight_variable(shape):
    inital = tf.truncated_normal(shape)
    return tf.Variable(inital)

权重初始化为截断正态分布，默认参数如下：

def truncated_normal(shape,
                     mean=0.0,
                     stddev=1.0,
                     dtype=dtypes.float32,
                     seed=None,
                     name=None):

可以看到标准差 stddev 默认为1.0，此时网络可以达到预期的正确率

但当激活函数为 ReLu 时，用标准差为1.0的截断正态分布初始化参数正确率只有10%-20%。
应当设置 stddev=0.1，才可达到预期的正确率

def weight_variable(shape):
    inital = tf.truncated_normal(shape, stddev = 0.1)
    return tf.Variable(inital)

另外，适当的改变优化器的学习率也可优化正确率