从AlexNet(2012)开始

博客： blog.shinelee.me | 博客园 | CSDN

写在前面

本文重点在于回顾深度神经网络在CV领域的First Blood——AlexNet，AlexNet是首个在大规模图像识别问题取得突破性进展的深度神经网络，相比基于SIFT+FVs、稀疏编码的传统方法，性能提升了10多个百分点（error rate 26.2% → 15.3%，ILSVRC-2012），并由此开启了深度神经网络血洗CV各领域的开端，如下图所示（SuperVision即AlexNet）。

截止本文时间2019年9月2日，AlexNet论文的引用量达45305，论文作者Alex Krizhevsky、Ilya Sutskever和“深度学习之父”Geoff Hinton。

网络结构

AlexNet的原始网络结构如下，可以参见caffe的网络定义bvlc_alexnet，pytorch等也给出了变种实现，见torchvision/models/alexnet.py。

整个网络大体由5个卷积层和3个全连接层组成，受限于当时的计算资源，网络通过2块GTX580 3GB的GPU训练，上图可见，整个网络上下一分为二，各用1块GPU训练（在caffe中通过group层实现），每个GPU放一半的神经元，网络中第3个卷积层和3个全连接层跨GPU连接。与使用单个GPU和50%神经元的网络相比，这个双GPU方案的Top1和Top5错误率分别降低了1.7%和1.2%。

每层的配置如下，第一个卷积层的kernel size为11，stride为4：

创新点

为了获得最佳表现，论文中综合应用了很多技术，有些后来已成为通用的标准做法。

• 使用ReLU作为激活函数，作为non-saturating非线性激活函数有效避免了梯度消失问题，同时与tanh（saturating非线性激活函数）相比，训练速度提升了数倍（CIFAR-10上训练达到25%错误率速度快了6倍）。

• 多GPU训练，实际上相当于增加了网络的宽度，如上节所述，Top1和Top5错误率比单GPU网络分别降低了1.7%和1.2%。

• 提出了LRN（Local Response Normalization）层，使用相邻$n$个特征图上同位置的值对当前值进行归一化，公式如下。LRN被认为没有太大效果，已不被后来者采用。
  b x , y i = a x , y i / ( k + α ∑ j = max ⁡ ( 0 , i − n / 2 ) min ⁡ ( N − 1 , i + n / 2 ) ( a x , y j ) 2 ) β b_{x, y}^{i}=a_{x, y}^{i} /\left(k+\alpha \sum_{j=\max (0, i-n / 2)}^{\min (N-1, i+n / 2)}\left(a_{x, y}^{j}\right)^{2}\right)^{\beta} bx,yi​=ax,yi​/⎝⎛​k+αj=max(0,i−n/2)<