深度神经网络模型，从LeNet-5到

欢迎关注博主的公众号：happyGirl的异想世界。有更多干货还有技术讨论群哦~

LeNet-5

LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。

LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数，如下图所示。

其参数：

• input：输入图片，32*32像素；
• C1：5*5卷积核，生成6个feature maps，共需要（6*5*5 + 6）=156个参数；
• S2：2*2个像素相加，然后乘以一个参数，加上一个偏置，共计2*6=12个参数；
• C3：5*5卷积核，生成16个feature maps，每个feature map由S2中若干个feature maps卷积得到，如图Table1所示；
• S4：和S2相同的操作，共计16*2 = 32个参数；
• C5：与S4全连接，共计（5*5*16*120+120）=48120个参数；
• F6：与C5全连接，共计（120*84+84） = 10164 个参数；
• output: 与F6全连接。

AlexNet

AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。 这对于传统的机器学习分类算法而言，已经相当的出色。

alexNet为8层深度网络，其中5层卷积层和3层全连接层，不计LRN层和池化层。结构图如下图所示：

详解各层训练参数的计算：

前五层：卷积层

后三层：全连接层

整体计算图：

也可以这么看：

VGGNet

VGGNet (https://arxiv.org/pdf/1409.1556.pdf) 发布于2014年，作者是Karen Simonyan和Andrew Zisserman,该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet包含16或19层，主要由小型的3X3卷积操作和2X2池化操作组成。

创新点：VGGNet全部使用3*3的卷积核和2*2的池化核，通过不断加深网络结构来提升性能。网络层数的增长并不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。同时，两个3*3卷积层的串联相当于1个5*5的卷积层，3个3*3的卷积层串联相当于1个7*7的卷积层，即3个3*3卷积层的感受野大小相当于1个7*7的卷积层。但是3个3*3的卷积层参数量只有7*7的一半左右，同时前者可以有3个非线性操作，而后者只有1个非线性操作，这样使得前者对于特征的学习能力更强。

使用1*1的卷积层来增加线性变换，输出的通道数量上并没有发生改变。这里提一下1*1卷积层的其他用法，1*1的卷积层常被用来提炼特征，即多通道的特征组合在一起，凝练成较大通道或者较小通道的输出，而每张图片的大小不变。有时1*1的卷积神经网络还可以用来替代全连接层。

    其他小技巧。VGGNet在训练的时候先训级别A的简单网络，再复用A网络的权重来初始化后面的几个复杂模型，这样收敛速度更快。VGGNet作者总结出LRN层作用不大，越深的网络效果越好，1*1的卷积也是很有效的，但是没有3*3的卷积效果好，因为3*3的网络可以学习到更大的空间特征。

优点：1.参数量减少了 81%（相比alxexnet），而感受野保持不变。

2.小卷积核的使用也扮演了正则化器的角色，并提高了不同卷积核的有效性。

缺点：其评估的开销比浅层网络更加昂贵，内存和参数（140M）也更多。这些参数的大部分都可以归因于第一个全连接层。

 网络结构：VGGNet的网络结构如下图所示。VGGNet包含很多级别的网络，深度从11层到19层不等，比较常用的是VGGNet-16和VGGNet-19。VGGNet把网络分成了5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，最后面是3个全连接层和一个softmax层。网络结构图：

代码实现参考自tensorflow的开源实现：

#%%
# Copyright 2016 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License"