卷积神经网络进阶（理论：Alexnet，Vggnet，Resnet，InceptionNet，MobileNet）

note:着重介绍网络结构特点 

1、AlexNet

AlexNet上下分割，且它的第三层出现交叉

原因：当时的GPU没有那么强大，所以一个GPU上可能装载不了那么大的一个神经网络，所以两个GPU可以使得这个神经网络更大，且两个GPU可以使得神经网络的训练更快。因为有并行化在里面。

  

虚线为Sigmoid，实线为RELU，

RELU相较Sigmoid：速度更快

Pooling层可以不加，可以在卷积层中选择步长大于1，例如2,3,4，也可以使得输出的神经元图变小。在以后会少使用Pooling层，操作起来简单高效。

在机器学习中，模型组合一般是能提升最后的模型效果的。123456->103406,相当于把2和5那两个神经单元舍弃了，数据解释认为总能找到一个新的样本，这个新的样本它的输出就是103406,所以相当于增加了数据，也就提高了泛化能力。

2、Vggnet

非线性变换使得整个模型的拟合能力变好。

参数降低28%：5*5，假设：输入通道数=输出通道数=a，则参数量：5*5*a*a=25a^2,

2个3*3：3*3*a*a+3*3*a*a=18a^2，25a^2-18a^2=7 a^2，7 a^2/25a^2=28%。

多使用1*1的卷积核，可以看做是非线性变换，不损失信息。也可以用于降低通道数。

实战：https://blog.csdn.net/qq_41660119/article/details/105950859

 

3、Resnet

VGGNet把网络加深到了一定的层次，但加深到一定层次就不能加深了，再加深也不能提高效果。ResNet解决了这个问题，可以使网络加深到更深的层次。最深的ResNet可以达到1000多层。

实战：占位

4、InceptionNet

InceptionNet也可以解决网络层次不能再加深的问题，有多种版本。

如下，分组卷积：每个组还可以扩展。每个组加了一些层，加的这些层，它们之间的计算不交叉，降低计算量。

卷积计算量：

Kw*Kh：卷积核的长*宽

Ow*Oh：输出神经元图的长*宽                                  

Ci：输入通道数

Co：输出通道数

参数量计算

卷积核*输入通道数*输出通道数

由上得知：现在的计算量与参数数量已经略低于普通的卷积，分组卷积的参数数目可以继续被优化。

例如，其中的某种优化方式，可以为：如下图，主要的计算量在3*3与5*5的卷积上，可以采用1*1的卷积优化它，例如输入是100通道的，可以用1*1的卷积做一个非线性变换，把它变成25通道的。这样3*3与5*5的输入就变小了。从而参数数目就变少了。

“极致”：不仅用3*3去替换5*5,还要用1*3和3*1去替换3*3。

还可以替换n*n的卷积，例如，7*7可以用1*7和7*1去替换，也可以降低参数。n越大，参数降低的幅度就越大。

Skip connection与Resnet的残差连接是一个东西

实战：占位

5、MobileNet

MobileNet能够保证在精度损失在可控范围内，大幅度降低参数数目和计算量。

在MobileNet中使用深度可分离卷积来替换卷积层。

左图所示为普通卷积层，3*3卷积层->批归一化->ReLU激活函数。

右图为深度可分离卷积层：3*3深度可分离卷积层->批归一化->ReLU激活函数->普通1*1卷积层->批归一化->ReLU激活函数。

用右图替换左图。

回顾Inception，分组卷积，效果：参数量降为原来的1/3。

深度可分离卷积：分到极致，关注点从Ci个通道变成了一个通道。

6、模型对比

不同的神经网络在分类性能上有一定差距

下图中显示为错误率，柱状图越低越好。

横坐标：计算量

纵坐标：准确度

维度：圆圈大小：模型的size，参数量。