CNN网络模型发展进程及各个网络优缺点

 

此篇博客主要是讲一些目前较好的网络发展，提出问题，解决了什么问题,有什么优缺点。

1、Alexnet网络，本网络是2012年的分类冠军，掀起来深度学习的热潮，Alexnet参数量巨大，由于受限于硬件计算，作者采用了group 卷积，将特征图分别放入不同gpu进行运算，最后融合，但是此网络存在一个问题，不同特征图分别计算然后融合，如此卷积核只与某一部分的特征图进行卷积，这样卷积核获得的特征只有一部分，模型泛化能力有所下降，为解决这个问题，就有了shuffleNet.

2、shuffeNet:称为压缩网络，号称是可以在移动设备上运行的网络，将特征的通道平均分到不同组里面，卷积后，进行channnel shufflenet操作，具体如下： 将每一组再进行细分，将当前组细分成多份，然后将这些再细分的小份，再输入之前不同的组。进行打乱。此篇论文是基于resnet改进，将renet每一模块，改为：11分组卷积，然后 BN,RELU后，进行shuffle，然后进行33卷积操作，不过33卷积操作是为depthwise操作，然后在进行11分组卷积，再与renet中的跳远连接进行通道融合，resnet是通道相加。

3、VGG,对于卷积核是否越大越好，vgg主要创新为加深了网络，将55卷积改成两个33卷积，这样可以大大减少计算量。

4、inception.2014分类冠军是否每一层网络只能用一种卷积核，而inception网络设计就是同一层分别用不同大小的卷积核，如此可以获得不同尺度的特征，增强网络对多尺度的适应性，另外一个创新就是采用了network in network网络中11卷积来减少运算量。inceptionv2创新点为提出了BN网络层，这样使得训练更容易收敛，加快训练速度，缓解梯度爆炸，也有一定的正则化的效果，inceptionv3创新为：将55,33卷积改为15,51,13,31卷积。inceptionv4创新为利用了残差网络，一起结合。

5、resnet，2015分类冠军，网络越深就越难训练，梯度消失梯度爆炸就会影响。提出resnet，一个跳远连接。改革性成果，如此就可以训练更深的网络，解决越深就会效果越差的问题，其中有很多resnet的改进，具体代表为，densenet,ResReXt,wide resnet.

6、MobieNet:卷积操作是否必须同时考虑通道与区域，此篇论文就解决了这个问题，将传统卷积操作，分为两步进行，先进行Depth Wise操作即：对每一个通道进行各自卷积操作，不进行相加操作。再进行11卷积操作，这样大大降低了参数量。

7、SEnet;是否每一层的特征图都是不分权重直接结合的，是否每个特征图起的作用都是一样的呢？本网络就是解决这个问题，对每一层的特征进行训练，使得有效特征图权重大，无效的特征图权重小，根据loss去训练特征权重。senet并不是完全的模块，只是小模块，用来嵌入其他网络。具体操作为：先将输入进行全局平均池化，变为一维，然后两个全连接层，训练权重，两个全连接层采用relu与sigmoids激活函数，然后将输出与输入相乘。得出结果。senet为2017年分类冠军。

8、空洞卷积；能否让卷积核看到更大的区域，则有了空洞卷积，即可以增强模型表现力。，也不增大计算量。

9、卷积核的形状一定是卷积吗？就提出了可变现卷积。使得卷积后能够看到他感兴趣的区域，这样可以提高识别效果，