ImageNet Classification with Deep Convolutional Neural Networks AlexNet阅读笔记

论文原文：ImageNet Classification with Deep Convolutional Neural Networks

网络模型名字：AlexNet

1、简介

    2012年AlexNet成为DeepingLearning的历史突破，得益于Relu和Dropout的提出，大数据训练和GPU并行计算。    
    本文训练了一个深度卷积神经网络(AlexNet)，将ILSVRC-2010中120万张高分辨率图像数据分为1000类。测试结果，Top-1和Top-5的错误率分别为37.5%和17%，优于当时最优的水平。

2、网络基本构成及方法

        60millon个参数，650thousand个神经元，包含5个卷积层，其中有几个层后跟着max-pooling层，有3个全连接层和1000-waysoftmax。为使训练更快，文章采用非饱和神经元（RELU非线性特征），包括了大量不常见和新的特征来提升性能，减少训练时间。并利用了两个高效的GPU应用进行卷积运算加速。在全连接层中，为避免过拟合，文章采用了一种叫做“dropout”的方法。
       网络大小主要受限于GPU的内存和训练时间。实验证明，本网络在有两个GTX 580 3GB GPU的机器上训练了5-6天。
       AlexNet网络结构如下图所示：

3、具体改进方法部分

3.1  ReLU非线性

    激活函数，用在各个卷积层和全连接层输出位置。激活函数是深度网络非线性的主要来源。通常包括：simgoid（f(x)=(1+e-x)-1）和tanh（f(x)=sinhx/coshx,图形类似于arctanx，但是值域是[-1,1]）作为激活函数。

    用ReLU（f(x)=max(0,x)）作为激活函数的原因是：加速收敛、解决了梯度消失问题。

3.2  在多个GPU上训练

     使用两块GTX 580 3GB GPU，在每个GPU上放1/2的神经元，但只有某些层才能进行GPU间的通信，在连接与不连接的平衡中找到性能与准确的平衡点。从而减少了训练时间。

3.3  局部响应归一化

     局部响应归一化层完成一种“临近抑制”操作，对局部输入区域进行归一化。本质上，这个层也是为了防止激活函数的饱和的，用在部分ReLU层后。

     从试验结果看，LRN操作可以提高网络的泛化能力，将错误率降低了大约1个百分点。

3.4  重叠池（pooling）

    传统池层的缩放因子和步长相等，重叠池缩放因子大于步长，这样池滑动卷积过程中就产生了重叠。

    从试验结果看，作者认为Overlapping之后，能够减少网络的过拟合。将Top-1和Top-5的错误率分别降低了0.4%和0.3%。

3.5  总体结构

    网络总共有8层（每一层都带有weight），前五层是卷积层，后三层是全连接层。最后一个全连接层，输入到一个1000-way softmax分类器上，产生一个在1000类别上一个分布。

    局部反应归一化连接在第一、第二卷积层后面；最大池层连接在局部反应归一化层和第五卷积层后面；ReLU非线性公式在每个卷积层和全连接层都有应用。

4、降低过拟合

4.1  数据增强

    1、将图片大小统一变为224*224，通过提取图片的5个224*224切片（中间和四角）和它们的水平翻转来做出预测，预测结果为十次预测的平均值。

    2、第二种数据增强的方式为改变训练图像RGB通道的强度，对RGB空间做PCA，然后对主成分做一个(0,0.1)的高斯扰动。结果让错误率又下降了百分一。

4.2  Dropout

    将某些层隐藏，将50%的神经元输出为0，即将这50%的层隐藏。这些隐藏的神经元不会参加CNN的forward过程，也不会参加backpropagation过程，这些神经元暂时不参加运算，但可以保留。

    dropout可以避免深度网络过拟合，但dropout也使达到收敛的迭代次数变为了原来的2倍。

   

    AlexNet  caffe网络：