机器学习经典模型（一）图片分类网络：LeNet-5、AlexNet、VGG-16、ResNet、GoogLeNet/Inception

1.LeNet-5用来做手写体识别的

2.卷积-池化-卷积-池化 -全连接-全连接-softmax

3.激活函数用的sigmoid

4.参数数量少，只有60k

1. 用来图像分类，输入为RGB图

2.卷积-池化-卷积......全连接，结构并没有什么创新

3.激活函数为ReLU，sigmoid的导数在稳定区会非常小，ReLU可以防止梯度消失

4.参数多，有60m

1.2-3个卷积接一个池化，图像变小，通道变多

2.将网络结构标准化，卷积核、池化核都一样大小3x3,2x2，没有大卷积核例如7x7

3.使用小卷积核可以实现更复杂的非线性拟合，同时参数更少

4.16的意思是有16个带可训练权重的层，13个卷积层，3个全连接层

1.Residual block实现跳接，在激活之前跳接到几层之后的激活之前

2. 可以解决梯度消失问题，学习残差，构建更深层的网络

3.一般的网络层数加深可能训练效果反而变差，但是残差网络层数越深越好

4.更容易学习到恒等式

5.因为卷积时用的是大小不变的卷积，所以可以直接堆叠跳接，池化时大小变了，要添加一个把大小变相同的参数矩阵

 

1.inception模块里包含各种类型卷积，统统做一遍，然后堆叠在一起输出

2.通过1x1卷积压缩通道，从而减少计算量 ，bottleneck，

 

 

参考链接：

https://www.cnblogs.com/bonelee/p/8972139.html