文章目录
五、经典神经网络解析(ImageNet大规模视觉识别挑战赛):
5.1、AlexNet(2012年8层神经网络)
前身是LeNet5(90年代) ,用于识别手写邮政编码。
输入网络之前有进行去均值处理,AlexNet 统计数据里面所有样本的向量的均值
ALexNet:
ALexNet:
总结 AlexNet :
5.2、ZFNet(2013年8层神经网络)
与AlexNet网络结构基本一致
5.3、VGG(2014年16、19层神经网络)
总结VGG:
结论:使用小卷积核串联构建的网络深度更深、非线性更强、参数也更少
注:在高斯核中,俩小核卷积的结果和一个大核卷积的结果一样;在卷积神经网络中这俩值不一样(只是有相同的感受野)。
5.4、GoogleNet(2014年22层神经网络)
其他网络串联结构存在的问题:
GoogleNet 结构:
举例子计算说明:
5.5、ResNet(2015年152层神经网络,3.6%低于人类错误率5.1%)
ResNet的改变:
H(x) = F(x) + X,实现正向和反向都很顺畅。
为什么叫做残差:F(x) = H(x) - X (残差模块=输出-输入)
总结ResNet:
对ResNet的改进有DenseNet(把其中一部分神经元去掉)