【神经网络】经典神经网络理论

五、经典神经网络解析（ImageNet大规模视觉识别挑战赛）：

5.1、AlexNet（2012年8层神经网络）

前身是LeNet5（90年代） ，用于识别手写邮政编码。

输入网络之前有进行去均值处理，AlexNet 统计数据里面所有样本的向量的均值

ALexNet：

ALexNet：

总结 AlexNet :

5.2、ZFNet（2013年8层神经网络）

与AlexNet网络结构基本一致

5.3、VGG（2014年16、19层神经网络）

总结VGG：

结论：使用小卷积核串联构建的网络深度更深、非线性更强、参数也更少

注：在高斯核中，俩小核卷积的结果和一个大核卷积的结果一样；在卷积神经网络中这俩值不一样（只是有相同的感受野）。

5.4、GoogleNet（2014年22层神经网络）

其他网络串联结构存在的问题：

GoogleNet 结构：

举例子计算说明：

5.5、ResNet（2015年152层神经网络，3.6%低于人类错误率5.1%）

ResNet的改变：

H(x) = F(x) + X，实现正向和反向都很顺畅。

为什么叫做残差：F(x) = H(x) - X (残差模块=输出-输入)

总结ResNet：

对ResNet的改进有DenseNet（把其中一部分神经元去掉）

5.6、本章总结