一文读懂CNN网络（分类网络）的前世今生（Lenet,VGG, networ in network,Googlenet, resnet，Mobilenets网络的核心贡献）

Lenet网络：
结构：它是一个7层的卷积层+全连接层这样结构的一个网络。
影响：它可以用来识别手写数字，效果还可以，它的结构主要是卷积和池化，这两个模块在后续的卷积网络中都有涉及。
输入：3232的输入图片尺寸。
输出： 110的节点。
结构分析：卷积-——池化——卷积——池化——卷积——全连接层——全连接层
卷积核的大小：都是55的卷积核。
影响：（1）后续的Alexnet，Googlenet，VGG都沿用了这种卷积+全连接层用来进行图像分类。
（2）首个卷积网络，开创了卷积网络应用于图像处理的先河。
核心贡献：（1）局部连接。
（2）权值共享。
Alexnet
结构：（1）网络比lenet更深，包括5个卷积层和3个全连接层。
（2）使用了LRN归一化层
提出LRN层，对局部神经元的活动创建竞争机制，使得响应较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
（3）训练的时候加入了dropout层，防止过拟合。
（4）