深度学习需要更深网络结构的原因

    从近些年来深度学习的发展看，深度学习模型结构越来越复杂，越来越丰富，同样网络深度也随之增加，由此引发了很多猜测，比如为什么需要更深的网络结构？更深的网络结构就使算法的性能一定很好吗？本文大概说一下前一个问题，后面在讨论第二个问题。

1、引发此问题的模型

    本人认为正真让学者开始重视网络深度的模型应该是VGG模型的出现，当然以前也有学者提出过增加网络深度的问题，但是让学者普遍接受“深度增加可以提升网络模型性能”是由于VGG的出现。当然，VGG的出现也引发了第二个问题，此处不进行分析。
    AlexNet是一个8层的神经网络，但是从当时的情况来看，这个网络结构已经很深了，性能也很强大，但是当在2014年VGG出现后AlexNet的光环逐渐退去（当然不能否定它的创造性）。VGG网络深度是AlexNet的2倍，模型性能也大幅提升，但是卷积层参数大幅降低（具体可以参考他的论文）。
    VGG模型为什么使用16层而不是11层、13层、19层或是更多层呢？原因很简单，太浅的层其在ImageNet的错误率较高，太深的层错误率也开始上升。但是，从AlexNet到VGG的过程可以看出，深度增加确实对模型的性能有较大的提升。

2、主要原因

    深度增加对模型的性能有较大的提升的原因何在？主要体现在两个方面：

    1）更深的网络表达能力更强

    深度学习之所以越来越受到学者的重视很大一部分原因就是他几乎可以很好的拟合出各种类型的目标函数，达到较好的拟合效果。而真实情况的目标函数几乎不可能是线性函数，基本都是非线性函数。深度学习的模型中主要包括卷积层、池化层、激活层、BN层等，这些基本都是在进行非线性变换。更深的网络就意味着网络可以学习到更加复杂的变换，拟合更复杂的特征输入，更深的网络结构有更为灵活且强大的非线性拟合能力或是非线性表达能力。

    2）更深的网络使网络学习更加容易

    网络结构是进行抽象信息的提取，网络结构更深代表其抽象层级也越深，这就意味着网络层可以学习到更为复杂的特征。但是，网络太深对优化算法的要求也就越高。后面会逐步将到这个问题，因为这涉及到文章开头的第二个问题。

    从整体来看，网络深度对模型性能有较大的影响，至少是网络性能高低的主要因素之一。后文中将对其他因素逐步进行描述，这也是在回答第二个问题。