神经网络深度(Deepth)的影响

参考：内容来源于网络总结。

在参数一样的前提下，模型深的比浅的效果更好，加大深度”就相当于函数中的模块化，也就是“并不急于解决问题，而是把问题切成比较小的问题，再解决”。而且这样的好处是：“数据集要求低，并不需要太多的数据”。deep 就相当于 模块化 。模块化就可以减少数据的需求量。所以deep 只需要比较少的需求量。
为什么我们要做deep learning ，就是因为我们没有足够的data，才会考虑deep learning。很多人认为玩deep learning 就需要很多很多的数据，其实并不是，deep learning 需要少的数据也可以达到很好的效果。

理论上神经网络的深度越深，效果越好，为什么这么说呢？

神经网络（主要指BP神经网络及其衍生的各种类型）中的层（主要是隐藏层）越多，对输入特征抽象层次越高。因为在神经网络中，后一层神经元的输入是前一层输出的加权和，前一层的特征在后一层就被抽象出来了，学习的过程其实就是调节和优化各连接权重和阈值的过程。

浅层神经网络可以表示的特征抽象程度不高，而层次越深，特征的抽象程度越高，也就是在某些特定任务上所谓的“效果越好”，这也是为什么深度神经网络可以做出很多只有人类才能做到的需要高度抽象理解能力的事情。

随着深度的增加，逼近函数的效果好，已经有paper证明过了，个人理解就是，神经网络训练的过程就是调整参数的过程，可以调整的参数（weights and bias）越多，意味着调整的自由度越大，从而逼近效果越好，可以举例子:逼近某一个函数，比较单层，2层，和多层的神经网络逼近效果。

然而，预测效果却不一定好。针对同一个问题，层数少的时候效果差，这时候逐渐增加层数可以提高效果，但是如果盲目不停地增加层数，则会容易引起overfitting，从而导致预测效果不好，所以并不是层数越多，预测效果就一定会越好的。此外，添加更多层会导致更高的训练误差。最后想提一下，其实增加神经元数也可以提高逼近效果。

因此，神经网络随着深度的增加，实际的效果是先变好，然后再变差。