实验:添加新的层
为了提高识别精度,我们准备增加更多的层到神经网络。
第二层的神经元将计算前一层的神经元输出的加权和,而不是计算像素的加权和。
这里是一个5层完全连接的神经网络:
我们将softmax函数作为最后一层的激活函数,因为这是最适合分类的。
然而,在中间层,我们将使用最经典的激活函数:sigmoid函数:
本节中的任务是向模型添加一两个中间层以提高其性能。
/
请尝试自己敲一下代码。
如果你实在写不出来了,就参考这个文件: mnist_2.0_five_layers_sigmoid.py
所有文件的下载地址在第一章里面有
/
要添加新的层,需要为中间层添加对应的的权重矩阵和对应的偏置向量:
W1 = tf.Variable(tf.truncated_normal([28*28, 200] ,stddev=0.1))
B1 = tf.Variable(tf.zeros([200]))
W2 = tf.Variable(tf.truncated_normal([200, 10], stddev=0.1))
B2 = tf.Variable(tf.zeros([10]))
层的权重矩阵的形状是N行M列([N,M])其中N是层的输入数和输出数。
在上面的代码中,我们在中间层有200个神经元,在最后一层有10个神经元。
注意,权重矩阵的权值需要用随机数初始化,不能都是同一个值,否则无法训练。
如果没有用随机数初始化,优化器会停留在它的初始位置。
tf.truncated_normal是一个TensorFlow函数,它根据-2*stddev(标准差)和+2*stddev(标准差)之间的正态(高斯)分布产生随机值。
原因:
当每层的W一样时,检测的特征也一样,网络经过前向传播和反向传播后,每层的W值更新后大小还是一致,因此检测的特征也还是一样。
每层的W一样,会使得多层的效果和一层的效果是一致的,因为提取的特征是重复的,即出现模型退化问题。
所以神经网络参数的初始值不能全相同,初始值全设为0即使一个特例,自然初始化是无效的。
现在把你的1层模型变成2层模型:
XX = tf.reshape(X, [-1, 28*28])
Y1 = tf.nn.sigmoid(tf.matmul(XX, W1) + B1)
Y = tf.nn.softmax(tf.matmul(Y1, W2) + B2)
经过这个简单的操作,你现在应该能够训练你的网络,得到超过97%的准确性。
只用了2个中间层,(200和100个神经元)