网络优化与超参数选择

网络优化与超参数选择

网络容量

可以认为与网络中的可训练参数成正比。其中网络中的神经单元数越多，层数越多，神经网络的拟合能力越强。但是训练速度、难度越大，越容易产生过拟合。

增大网络容量的方法：（提高网络的拟合能力）

• 增加神经元的个数
• 增加隐藏层

如何选择超参数？

所谓超参数，也就是搭建神经网络中，需要我们自己选择（不是通过梯度下降算法取优化）的那些参数。比如，中间层的神经个数、学习速率等。

那么如在上述提到的方法中如何提高网络的拟合能力：

单纯的增加神经元个数对网络性能的提高并不明显，增加层会大大提高网络的拟合能力，这也是为什么深度学习的层越来越深的原因。

注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合。

代码实现

在模型中加入多层隐藏层的变化：（以上篇代码为例）

model = tf.keras.Sequential()#建立模型
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))#将图像扁平成28*28的向量
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(128,activation='relu'))
model.add(tf.keras.layers.Dense(10,activation='softmax'))#将10个输出改为概率分布

model.summary()
Model: "sequential_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
==============================