本文介绍了深度卷积神经网络（CNN）的发展，包括LeNet、AlexNet、VGG、GoogleNet、ResNet等关键架构。CNN的创新主要集中在空间利用、深度、多路径、宽度等方面，如Residual Networks解决了深度学习中的梯度消失问题，DenseNets通过前馈连接增强信息流动。此外，文章还探讨了基于注意力机制的CNN和未来研究方向，如集成学习、生成学习器和硬件优化。
《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》-深度卷积神经网络最新进展综述
-Deep Learning Lab, Center for Mathematical Sciences, PIEAS, Nilore, Islamabad 45650, Pakistan
深度CNN架构中存在的内在分类法，分为七个不同类别。分别基于空间利用、深度、多路径、宽度、特征图利用、通道提升和注意力。
1、文章结构：
2、CNN基本组件
2.1 卷积层
卷积层由一组卷积核组成，核与图像的一小部分区域相
关，称为感受野。
将图像分成 小块有助于提取局部相关的像素值。这种局部汇总的信息也称为特征图。
2.2 池化层
池化操作汇总了感受附近的相似信息，并在该局部区域内输出主要响应。
将特征图的大小减小到不变的特征集可以调节网络的复杂性，并通过减少过度拟合来帮助提高通用性。
CNN池化公式：最大值，平均值，L2，重叠，空间金字塔合并等。
2.3 激活函数
激活功能起决策功能，有助于学习复杂的模式。选择适当的激活功能可以加快学习过程。
激活函数：sigmoid，tanh，maxout，ReLU和ReLU的变体,例如leaky ReLU，ELU和PReLU用于引入特征的非线性组合。
ReLU及其变体优于其他激活函数，因为它有助于克服梯度消失问题。
2.4 批次归一化
批次归一化用于解决与特征图中内部协方差平移有关的问题。
内部协方差偏移随隐藏单位值分布变化，这会降低收敛速度(通过将学习率强制为小值)，并对参数初始化要求高。
批次归一化通过将特征图值设为零均值和单位方差来统一其分布。
2.5 Dropout
Dropout引入了网络内的正则化，最终通过以一定概率随机跳过某些单元或连接来最 终提高泛化性。–减小过拟合。
2.6 全连接层
全连接层通常用在网络末端用于分类任务。
3、深度CNN结构演化
最低0.47元/天 解锁文章
405
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
