alexnet训练多久收敛_AlexNet的三点革命性启示

最新推荐文章于 2022-10-21 14:00:04 发布

weixin_39991222

最新推荐文章于 2022-10-21 14:00:04 发布

阅读量208

点赞数

文章标签： alexnet训练多久收敛

本文链接：https://blog.csdn.net/weixin_39991222/article/details/111727451

版权

欢迎关注我的个人微信公众号：小纸屑，致力于分享优秀AI论文

如果不喜欢看文章的，可以观看视频讲解：官方视频讲解免费视频讲解

AlexNet是划时代的，可以说掀起了机器学习的一场革命，标志着神经网络的凤凰涅槃、浴火重生，标志着深度学习大一统时代的来临，标志着通用人工智能又一次触手可及，也标志着一个超大级的人工智能泡沫的起点。

今天，就让我们以崇敬的心态，重温划时代之作AlexNet，具体论文是《ImageNet Classification with Deep Convolutional Neural Networks》。

模型结构

AlexNet的模型结构如下图。

是不是不太直观？改成如下图会容易懂一些。

可以看出，AlexNet模型主要有以下几个主要特点：

1)更深(8层，LeNet5层)，参数更多(比LeNet多1000倍)

AlexNet网络更深，共有8层(5层卷积层+3层全连接层)，提出卷积神经网络的LeNet总共5层(2层卷积层+3层全连接层)。

AlexNet另一个革命性的特点是，参数特别多，多达6000万左右的参数，是LeNet的1000多倍。

2)Conv(特征层)+ FC(输出层)的组合配置

经过多层的Conv层提取特征后，利用FC层整合特征再输出，是早期卷积神经网络的经典配置。LeNet开创了这种配置，AlexNet保持了这种配置。

3)FC层占据绝对多数的模型参数

AlexNet 96%的参数都集中在3层全连接层中，卷积层只占据4%。(因全连接层参数太多，现在一般尽量避免全连接层，改用全卷积+GlobalAvgPooling)

4)卷积层与Pooling层交替

从而每隔一个stage，feature map的分辨率就减半。这种pattern是LeNet提出的，AlexNet及现在所有的网络模型都沿用这个pattern。

5)当分辨率(HW)减少时，要增加通道数，保证有效特征数量。

这种pattern也是LeNet提出的，AlexNet及现在所有的网络模型都沿用这个pattern。

6)多卷积核尺度

卷积核尺寸多样，大致层数越深，卷积核尺寸越小，11x11，5x5，3x3。(现在一般使用多层小卷积核代替大卷积核，这样参数变少深度变深，效果更好)

Training tricks

AlexNet的模型参数非常巨大，必须使用一些训练技巧才能收敛，下图给出了，AlexNet在训练过程中使用到的主要Tricks。

从输入到输出，依次使用的技巧是：

1) 多GPU训练和分组卷积

由于AlexNet的参数多，数据规模大，为了有效的训练，作者开创了使用GPU训练的先河。这个是革命性的。

2012年还没有成熟的深度学习框架，作者为了训练更大的模型，采用了分组卷积(group=2)，相当于直接把模型等分为两个独立模型，在两个GPU上单独训练，在第三个卷积层和最后的三个全连接层做特征交流。

2)data augmentation

1. 使用了random crop和horizontal reflection

由于ImageNet中图片分辨率不固定，作者先将每张图片的最短边resize到256，并保持图片长宽比例，再裁取图片正中部分的256x256，再从这256x256中随机裁取224x224的patch，这也是为什么模型输入是224x224分辨率的来源，总共有32x32种patch。再加上horizontal reflection，总共会有32x32x2=2048种patch。

2. 图片像素值的PCA

一张图片有3个通道，RGB。3个通道间的3x3协方差矩阵，求出其特征值λi和特征向量Pi，λi再乘以一个服从高斯分布N(0;0.1)的随机数αi的到λi * αi(i=1,2,3)。再利用下式，就可以求出RGB每个通道不随图片灰度值变化的重要特性object identity。

每个通道加上上述相应的特性值。

3)Local Response Normalization

每一个卷积层的输出形状为[B, H, W, C]，以第一个卷积层为例，batch_size取32，则输出为[32, 55, 55, 96]，取定b, h, w, c，假如b=5, h=10, w=10, c=30，Local Response Normalization的意思是将b,h,w相同，c附近n个结果做归一化，即[5, 10, 10, 30-n/2~30+n/2]的元素归一化作为[5, 10, 10, 30]的结果。具体的计算公式如下：

均是超参数，AlexNet具体取

下图的示意比较直观：

4)ReLU激活函数

激活函数ReLU的发明是伟大的，这是神经网络能够再次崛起的重要因素之一。ReLU有效解决了数学上看似完美的非线性激活函数sigmoid和tanh的易饱和的问题，大大加快了收敛速度，大概提高6倍。如下图，相同的网络，只是激活函数不同(实线为ReLU，虚线为tanh)，在CIFAR10上，ReLU的收敛速度显著加快6-7倍。

5)Overlapping Pooling

当下采样的kernel size大于stride，下采样之间就是有重叠的。AlexNet的所有Maxpooling kernel size=3x3，stride=2，均为overlapping pooling。

6)dropout

dropout在BatchNormalization之前是常用且非常有效的正则化技巧，但BatchNormalization出世之后，基本就销声匿迹了。AlexNet第一第二个全连接层使用了dropout rate=0.5的dropout。

7)weight decay

使用了0.0005的weight decay。

上述大部分trick都可以看做是为了防止过拟合，包括data augmentation

Local Response Normalization

dropout

weight decay

结果

下图是上文中的标准模型在2010年ImageNet测试集上的Top-1和Top-5准确度，提升相当明显，说明了深度学习性能的优越性。