-
hidden layers
在实践中,通常情况下,3层神经网络的表现会优于2层网络,但更深层的(4、5、6层)很少有帮助。这与卷积网络形成了鲜明的对比,在卷积网络中,深层被认为是一个好的识别系统的极其重要的组成部分(例如,10个可学习层(learnable layers)左右)。 -
hidden units
越多的hidden units可以带来越复杂的计算能力。
但是过多hidden units会带来overfitting。
过多hidden units带来的overfitting的解决办法:
- Dropout
- L2 Regularization
在实践中,对复杂的模型,常常添加hidden units并且跟踪Validation Set Error,一直添加直到Validation Set Error开始变大。