TensorFlow and deep learning,without a PHD 第6章

实验：添加新的层

为了提高识别精度，我们准备增加更多的层到神经网络。

第二层的神经元将计算前一层的神经元输出的加权和，而不是计算像素的加权和。

这里是一个5层完全连接的神经网络：

我们将softmax函数作为最后一层的激活函数，因为这是最适合分类的。

然而，在中间层，我们将使用最经典的激活函数：sigmoid函数：

本节中的任务是向模型添加一两个中间层以提高其性能。

/

请尝试自己敲一下代码。

如果你实在写不出来了，就参考这个文件： mnist_2.0_five_layers_sigmoid.py

所有文件的下载地址在第一章里面有

/

要添加新的层，需要为中间层添加对应的的权重矩阵和对应的偏置向量：

W1 = tf.Variable(tf.truncated_normal([28*28, 200] ,stddev=0.1))
B1 = tf.Variable(tf.zeros([200]))

W2 = tf.Variable(tf.truncated_normal([200, 10], stddev=0.1))
B2 = tf.Variable(tf.zeros([10]))

层的权重矩阵的形状是N行M列（[N，M]）其中N是层的输入数和输出数。

在上面的代码中，我们在中间层有200个神经元，在最后一层有10个神经元。

注意，权重矩阵的权值需要用随机数初始化，不能都是同一个值，否则无法训练。

如果没有用随机数初始化，优化器会停留在它的初始位置。

tf.truncated_normal是一个TensorFlow函数，它根据-2*stddev（标准差）和+2*stddev（标准差）之间的正态（高斯）分布产生随机值。

原因：

当每层的W一样时，检测的特征也一样，网络经过前向传播和反向传播后，每层的W值更新后大小还是一致，因此检测的特征也还是一样。

每层的W一样，会使得多层的效果和一层的效果是一致的，因为提取的特征是重复的，即出现模型退化问题。

所以神经网络参数的初始值不能全相同，初始值全设为0即使一个特例，自然初始化是无效的。

 

 

现在把你的1层模型变成2层模型：

XX = tf.reshape(X, [-1, 28*28])

Y1 = tf.nn.sigmoid(tf.matmul(XX, W1) + B1)
Y  = tf.nn.softmax(tf.matmul(Y1, W2) + B2)

经过这个简单的操作，你现在应该能够训练你的网络，得到超过97%的准确性。

只用了2个中间层，（200和100个神经元）