各种卷积神经网络架构

最新推荐文章于 2022-10-11 18:30:00 发布

tanfuz

最新推荐文章于 2022-10-11 18:30:00 发布

阅读量536

点赞数

本文链接：https://blog.csdn.net/tanfuz/article/details/113714115

版权

1.AlexNet - 2012年

在这里插入图片描述

在每个卷积后面添加了Relu激活函数，解决了Sigmoid的梯度消失问题，使收敛更快。
使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合（也使用数据增强防止过拟合）
添加了归一化LRN（Local Response Normalization，局部响应归一化）层，使准确率更高。
重叠最大池化（overlapping max pooling），即池化范围 z 与步长 s 存在关系 z>s 避免平均池化（average pooling）的平均效应

在这里插入图片描述

在这里插入图片描述

2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择；从模型结果来看，GoogLeNet的性能却更加优越。
一是使用1x1的卷积来进行升降维
二是在多个尺寸上同时进行卷积再聚合
卷积分解：提出可以用2个连续的3x3卷积层组成的小网络来代替单个的5x5卷积层，即在保持感受野范围的同时又减少了参数量：

在这里插入图片描述

在这里插入图片描述

相比ResNet，这是一种密集连接。而且DenseNet是直接concat来自不同层的特征图，这可以实现特征重用，提升效率，这一特点是DenseNet与ResNet最主要的区别。

在这里插入图片描述

在这里插入图片描述

大量使用1x1卷积核替换3x3卷积核，因为参数可以降低9倍；
减少3x3卷积核的输入通道数（input channels），因为卷积核参数为：(number
of input channels) * (number of filters) * 3 * 3.
模型压缩主要采用的技术有SVD，网络剪枝，权重共享和量化

pointwise group convolution输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。
channel shuffle
目前移动端CNN模型主要设计思路主要是两个方面：模型结构设计和模型压缩。ShuffleNet和MobileNet一样属于前者，都是通过设计更高效的网络结构来实现模型变小和变快，而不是对一个训练好的大模型做压缩或者迁移。

关注