卷积神经网络典型应用———AlexNet

WZZZ0725

已于 2025-04-01 11:06:05 修改

阅读量5.5k

点赞数 5

文章标签：卷积深度学习

于 2020-09-17 19:43:14 首次发布

本文链接：https://blog.csdn.net/weixin_44214375/article/details/108649215

版权

本文深入剖析了AlexNet卷积神经网络的结构与原理，包括其在2012年ImageNet竞赛中的卓越表现、网络结构特点及关键组件如ReLU激活函数和Dropout正则化等。此外还介绍了AlexNet的多GPU训练策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AlexNet by lyx

一 AlexNet简介

AlexNet卷积神经网络在计算机视觉领域中受到欢迎，它由Alex Krizhevsky，Ilya Sutskever和Geoff Hinton实现。AlexNet在2012年的ImageNet ILSVRC 竞赛中夺冠，性能远远超出第二名（16%的top5错误率，第二名是26%的top5错误率）。这个网络的结构和LeNet非常类似，但是更深更大，并且使用了层叠的卷积层来获取特征（之前通常是只用一个卷积层并且在其后马上跟着一个汇聚层）。

二 AlexNet结构

这个神经网络有6000万参数和650000个神经元，包含5个卷积层（某些卷积层后面带有池化层）和3个全连接层，最后是一个1000维的softmax。
在这里插入图片描述

关键：采用dropout的正则化方法来减少全连接层过拟合

三 Alex结构详尽分析

COV1!!!

输入：

输入Input的图像规格： 224X224X3（RGB图像）,实际上会经过预处理变为227X227X3

卷积：

使用的96个大小规格为11X11X3的过滤器filter，或者称为卷积核(步长为4），进行特征提取，卷积后的数据：
55X55X96 [(227-11)/4+1=55]
此处计算方法为：
（227-11+2*pedding）/4+1=55（此处没有pedding）
即为（image_x-filter_x+2xpedding）/stride+1
96为深度，即96层特征提取

激活函数

使用relu作为激励函数，来确保特征图的值范围在合理范围之内。

float relu(float x)
{
   if(x<0):
retuern 0 ;
else:
return x;
}

relu1后的数据：55X55X96

降采样操作pool1(池化操作)

pool1的核：3X3 步长：2，降采样之后的数据为27X27X96 [(55-3)/2+1=27]
计算方法：
(origin_x-pool_x)/stride+1
[注意：Alexnet中采用的是最大池化，是为了避免平均池化的模糊化效果，从而保留最显著的特征,并且AlexNet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性，减少了信息的丢失。]

COV2!!!

输入：

输入27x27x96

卷积：

用256个5X5大小的过滤器filter(步长1)对27X27X96个特征图，进行进一步提取特征，但是处理的方式和conv1不同，过滤器是对96个特征图中的某几个特征图中相应的区域乘以相应的权重，然后加上偏置之后所得到区域进行卷积。经过这样卷积之后，然后在在加上宽度高度两边都填充2像素，会的到一个新的256个特征图.特征图的大小为：
(27+2X2 - 5)/1 +1 = 27 ，也就是会有256个27X27大小的特征图.

激活函数

激活之后为27x27x96

降采样操作pool2(池化操作)

pool1的核：3X3 步长：2，pool2（池化层）降采样之后的数据为13X13X96 [(27-3)/2+1=13]

COV3!!!

没有降采样层
得到（13+2X1 -3）/1 +1 = 13 ， 384个13X13的新特征图（核3X3,步长为1）

COV4!!!

没有降采样层
得到（13+2X1 -3）/1 +1 = 13 ， 384个13X13的新特征图（核3X3,步长为1）

COV5!!!

输出数据为13X13X256的特征图
降采样操作pool3
pool3的核：3X3 步长：2，pool3（池化层）降采样之后的数据为6X6X256
因为(13-3)/2+1=6

FC6!!!

全连接层，这里使用4096个神经元，对256个大小为6X6特征图，进行一个全连接，也就是将6X6大小的特征图，进行卷积变为一个特征点,然后对于4096个神经元中的一个点，是由256个特征图中某些个特征图卷积之后得到的特征点乘以相应的权重之后，再加上一个偏置得到,之后再进行一个dropout，也就是随机从4096个节点中丢掉一些节点信息（值清0），然后就得到新的4096个神经元。
注：（dropout的使用可以减少过度拟合，丢弃并不影响正向和反向传播。）
注：在经过交叉验证，隐含节点dropout率等于0.5的时候效果最好，原因是0.5的时候dropout随机生成的网络结构最多。