神经网络基础——为什么要深层的网络

Fat+Short v.s. Tall+Thin

有人做了这样一个对比：在相同参数量的情况下，神经网络层数对最后模型结果的影响。

最后得出的结论为是：神经网络 Tall + Thin 的模型效果要好于Fat + Short 的效果。

为什么会出现这样的情况呢？

其实神经网络在设计过程中，其实是一个模块化的过程。

设想这样一个场景：现在需要做图像分类，标签为4类：长头发男生，短头发男生，长头发女生，短头发女生。其中，长头发男生的数据比较少。

由于长头发的男生数据集较小，那么其所对应的分类器就比较Weak，对于这样的问题，人通常会采取这样的方法：
先分男、女，然后分别在男、女中分类长发和短发。

其实这就是神经网络的就是这样的工作原理：前面层的每一个神经元，可以看成一个初期的分类器，而后面的层其实就利用了前面weak learner的结果，相当于上面问题：初期的男或女，长发或短发的输出。

所以，隐藏层上起到了一个特征提取或是降维的作用