本文介绍了从1986年的Lenet到2017年DenseNet的深度学习经典卷积神经网络，包括Alexnet的Group卷积、GooleNet的Inception结构、VGG的3x3卷积、ResNet的残差连接以及DenseNet的密集连接。这些网络的设计思想和演变旨在解决深度学习中的梯度消失、参数量大等问题，通过不同的结构创新提高了模型的性能和效率。
Lenet（1986）
主要用于识别10个手写邮政编码数字，5*5卷积核，stride=1，最大池化。
Alexnet（2012）
卷积部分都是画成上下两块，意思是说把这一层计算出来的feature map分开，但是前一层用到的数据要看连接的虚线。
引入Group群卷积概念，最早是为了应对训练时硬件限制问题，额外的好处是减少参数，抑制过拟合，具体做法是：假设上一层的输出feature map有N个，即通道数channel=N，也就是说上一层有N个卷积核。再假设群卷积的群数目M。那么该群卷积层的操作就是，先将channel分成M份。每一个group对应N/M个channel，与之独立连接。然后各个group卷积完成后将输出叠在一起（concatenate），作为这一层的输出channel。
局部响应归一化LRN：利用前后几层（对应位置的点）对中间这一层做一下平滑约束，增加泛化能力，公式为：
GooleNet（2014）
inception的结构，一分四，然后做一些不同大小的卷积，之后再堆叠feature map。残差网络做了相加的操作，inception做了串联的操作
图：inception v1
Googlenet的核心思想是inception，通过不垂直堆砌层的方法得到更深的网络（我的理解是变宽且视野范围种类多，vgg及resnet让网络变深，inception让网络变宽，在同一层整合不同感受野的信息，并让模型自己选择卷积核的大小）
这里黄色的1*1的卷积核是改进googlenet时添加的
最低0.47元/天 解锁文章
扫一扫
893
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
