网络优化与超参数选择
网络容量
可以认为与网络中的可训练参数成正比。其中网络中的神经单元数越多,层数越多,神经网络的拟合能力越强。但是训练速度、难度越大,越容易产生过拟合。
增大网络容量的方法:(提高网络的拟合能力)
- 增加神经元的个数
- 增加隐藏层
如何选择超参数?
所谓超参数,也就是搭建神经网络中,需要我们自己选择(不是通过梯度下降算法取优化)的那些参数。比如,中间层的神经个数、学习速率等。
那么如在上述提到的方法中如何提高网络的拟合能力:
单纯的增加神经元个数对网络性能的提高并不明显,增加层会大大提高网络的拟合能力,这也是为什么深度学习的层越来越深的原因。
注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合。
代码实现
在模型中加入多层隐藏层的变化:(以上篇代码为例)
model = tf.keras.Sequential()#建立模型
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))#将图像扁平成28*28的向量
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(10,activation='softmax'))#将10个输出改为概率分布
model.summary()
Model: "sequential_2"
_________________________________________________________________
Layer (type) Output Shape Param #
==============================