CNN网络学习（1）：Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet

CNN网络学习（1）：Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet

目录

CNN网络学习（1）：Lenet，Alexnet，NIN，GooLeNet，VGGNet，ResNet

1、Lenet（1986）：

2、Alexnet（2012）：

3、NIN（2013）：

4、GooLeNet：

（1）2014.09 -- Inception v1

（2）2015.02 -- Inception v2

（3）2015.12 -- Inception v3

（4）2016.02 -- Inception v4

          5、VGGNet（2014）：

          6、ResNet（2015）：

---

1、Lenet（1986）：

网络解析（一）：LeNet-5详解

2、Alexnet（2012）：

AlexNet详解2

深度学习论文随记（一）---AlexNet模型解读

贡献：

① 数据增强 data augmentation，增加训练的数据量

② RELU激活函数，ReLU(Wx+b) = max(Wx+b,0)

③ 重叠池化 overlap pooling，在训练过程中不容易产生过拟合

④ 局部响应归一化 LRN, Local Response Normalization

⑤ Dropout，减少过拟合

3、NIN（2013）：

关于 Network-in-network理解和实现

Network In Network——卷积神经网络的革新

[翻译]Network In Network

贡献：

① 提出了 mlpcon 结构，用多层感知器（multilayer perceptron，MLP）来替代传统的卷积神经网络（通用线性模型，generalized linear model ，GLM)）中的加权求和，提高网络的非线性、特征的抽象性，适用更复杂的情况

② 去掉卷积神经网络最后的全连接层，采用全局平均池化层（Global Average Pooling，gap）代替，且在gap前通道数（feature maps）已经减少到分类的个数

4、GooLeNet：

（1）2014.09 -- Inception v1

深度学习论文随记（三）GoogLeNet-2014年

GoogLeNet的心路历程（二）

贡献：

① 发明了Inception Architecture（简称IA，多尺度特征融合）

② 使用average pooling层替代全连接层，减少参数，精简网络

③ 增加了两个辅助的softmax（auxiliary classifiers）用于向前传导梯度，避免梯度消失，加速网络收敛，起正则化作用

（2）2015.02 -- Inception v2

GoogLeNet的心路历程（三）

《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现

论文笔记-Batch Normalization

贡献：

① 分解大filters，使其小型化、多层化，学习VGG用2个连续的3x3卷积层(stride=1)组成的小网络来代替单个的5x5卷积层

② 提出了Batch Normalization（BN），可以选择较大的初始学习率提高训练速度，提高了网络泛化能力从而省去或减小过拟合中dropout、L2正则项参数所占权重，不再需要使用局部响应归一化层

（3）2015.12 -- Inception v3

GoogLeNet的心路历程（四）

非对称卷积—Asymmetric Convolutions

深度神经网络Google Inception Net-V3结构图

深度学习卷积神经网络——经典网络GoogLeNet(Inception V3)网络的搭建与实现

TensorFlow实战：Chapter-5（CNN-3-经典卷积神经网络（GoogleNet）)

贡献：

① 提出了非对称卷积结构拆分，任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代，例如将7×7卷积拆分成1×7卷积和7×1卷积，比拆成3个3×3卷积更节省参数

② 优化inception v1的auxiliary classifiers

③ 提出一种更复杂的pooling层，缩小特征图大小

④ 使用Label Smoothing Regularization（LSR）方法，在输出y中加噪声，以权重加入某一概率分布到原始标签中构成新的标签，防止把模型预测值过分集中在概率较大的类别上，会对小概率类别增加更多的关注。起到了正则化的作用，实现对模型进行约束，降低模型过拟合

（4）2016.02 -- Inception v4

GoogLeNet的心路历程（五）

卷积神经网络的网络结构——Inception V4

【深度学习】GoogLeNet系列解读 —— Inception v4

贡献：

① 在Inception v3的基础上发明了Inception v4，v4比v3更加复杂

② 结合ResNet与GoogLeNet，加入了残差（Residual Connections），发明了Inception-ResNet-v1、Inception-ResNet-v2，加快了网络的训练速度。其中Inception-ResNet-v2效果非常好，但相比ResNet，Inception-ResNet-v2的复杂度很高，在网络复杂度相近的情况下，Inception-ResNet-v2略优于Inception-v4。Residual Connections貌似只能加速网络收敛，真正提高网络精度的是更大的网络规模

5、VGGNet（2014）：

深度学习之基础模型-VGG

【深度学习】VGGNet原理解析及实现

深度学习VGG模型核心拆解

贡献：

① 证明了使用小卷积核（3*3）、增加网络深度可以有效提升模型的效果，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，成功构筑了16-19层深的CNN。 VGGNet有A-E七种结构，从A-E网络逐步变深，但是参数量并没有增长很多，D和E是常说的VGGNet-16和VGGNet-19

② LRN层无性能增益

③ 1x1卷积核的非线性变化增加决策函数的非线性能力

④ 参考了OverFeat的工作，在测试阶段把网络中原本的3个全连接层依次变为1个conv7x7，2个conv1x1，共三个卷积层，使网络可以处理任意大小的输入

6、ResNet（2015）：

ResNet解析

经典分类CNN模型系列其四：Resnet

贡献：

两种mapping：一种是identity mapping；另一种是residual mapping。提出残差学习的思想，最后的输出是 y=x+F(x)。通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度