博客: blog.shinelee.me | 博客园 | CSDN
写在前面
本文重点在于回顾深度神经网络在CV领域的First Blood——AlexNet,AlexNet是首个在大规模图像识别问题取得突破性进展的深度神经网络,相比基于SIFT+FVs、稀疏编码的传统方法,性能提升了10多个百分点(error rate 26.2% → 15.3%,ILSVRC-2012),并由此开启了深度神经网络血洗CV各领域的开端,如下图所示(SuperVision即AlexNet)。
截止本文时间2019年9月2日,AlexNet论文的引用量达45305,论文作者Alex Krizhevsky、Ilya Sutskever和“深度学习之父”Geoff Hinton。
网络结构
AlexNet的原始网络结构如下,可以参见caffe的网络定义bvlc_alexnet,pytorch等也给出了变种实现,见torchvision/models/alexnet.py。
整个网络大体由5个卷积层和3个全连接层组成,受限于当时的计算资源,网络通过2块GTX580 3GB的GPU训练,上图可见,整个网络上下一分为二,各用1块GPU训练(在caffe中通过group层实现),每个GPU放一半的神经元,网络中第3个卷积层和3个全连接层跨GPU连接。与使用单个GPU和50%神经元的网络相比,这个双GPU方案的Top1和Top5错误率分别降低了1.7%和1.2%。
每层的配置如下,第一个卷积层的kernel size为11,stride为4:
创新点
为了获得最佳表现,论文中综合应用了很多技术,有些后来已成为通用的标准做法。
-
使用ReLU作为激活函数,作为non-saturating非线性激活函数有效避免了梯度消失问题,同时与tanh(saturating非线性激活函数)相比,训练速度提升了数倍(CIFAR-10上训练达到25%错误率速度快了6倍)。
-
多GPU训练,实际上相当于增加了网络的宽度,如上节所述,Top1和Top5错误率比单GPU网络分别降低了1.7%和1.2%。
-
提出了LRN(Local Response Normalization)层,使用相邻 n n n个特征图上同位置的值对当前值进行归一化,公式如下。LRN被认为没有太大效果,已不被后来者采用。
b x , y i = a x , y i / ( k + α ∑ j = max ( 0 , i − n / 2 ) min ( N − 1 , i + n / 2 ) ( a x , y j ) 2 ) β b_{x, y}^{i}=a_{x, y}^{i} /\left(k+\alpha \sum_{j=\max (0, i-n / 2)}^{\min (N-1, i+n / 2)}\left(a_{x, y}^{j}\right)^{2}\right)^{\beta} bx,yi=ax,yi/⎝⎛k+αj=max(0,i−n/2)<