本文介绍了深度学习中几种经典的卷积神经网络（CNN）模型，包括LetNet、AlexNet、VGG、Inception系列和Resnet。从LetNet的鼻祖地位，到AlexNet引入ReLU、Dropout和LRN，再到VGG的深层数量堆叠，然后是Inception的多尺度卷积和Resnet的残差学习，最后探讨了DenseNet的特征重用和旁路设置，这些网络都在深度学习的发展历程中起到了关键作用。
一、LetNet
LetNet网络是CNN网络的鼻祖，定义了CNN的基本部件：卷积层、池化层全连接层等。
二、AlexNet
主要特点：
1、使用ReLU函数作为CNN的激活函数；
2、Dropout技术和数据增强技术的使用，防止模型过拟合；
3、当时计算性能满足不了网络需求，使用group conv技术；
4、基于神经科学中局部神经元活动竞争机制，提出LRN层，类似于在通道维度上做normalization，使得响应比较大的数值变大相对更大，以此抑制反馈比较小的filter。
LRN层（Local Response Normalization）个人理解：神经科学上来说，局部神经元互相之间有竞争，当多个神经元共同接受一个信号时，哪一个神经元表现的比较好，经过LRN处理之后（标准化后），该神经元相对应该更加明显。
在图像经过卷积层时，feature map会被多个filters采样，对于feature map上某一个点，filters之间会竞争，我们应该他们做一个标准化，突出他们之间的相对大小。因此是在通道维度上做normalization，这个层在后面的网络结构发展中，再也没怎么用了。
三、VGG
VGG网络通过堆叠3x3卷积和2x2最大池化层成功构建了一个较深层的网络。目前，VGG系列中的部分网络仍然被用来作为特征提取网络。
最低0.47元/天 解锁文章
扫一扫
1070
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
