【深度学习】AlexNet原理解析及实现

【深度学习】AlexNet原理解析及实现

    Alex提出的alexnet网络结构模型，在imagenet2012图像分类challenge上赢得了冠军。

    要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型。

一、Alexnet结构

alexNet为8层深度网络，其中5层卷积层和3层全连接层，不计LRN层和池化层。如下图所示：

    

                                                            图 Alexnet结构

详解各层训练参数的计算：

前五层：卷积层

后三层：全连接层

                    

整体计算图：

  

二、结构分析

        AlexNet每层的超参数如下图所示，其中输入尺寸为227*227，第一个卷积使用较大的核尺寸11*11，步长为4，有96个卷积核；紧接着一层LRN层；然后是最大池化层，核为3*3，步长为2。这之后的卷积层的核尺寸都比较小，5*5或3*3，并且步长为1，即扫描全图所有像素；而最大池化层依然为3*3，步长为2.

        我们可以发现，前几个卷积层的计算量很大，但参数量很小，只占Alexnet总参数的很小一部分。这就是卷积层的优点！通过较小的参数量来提取有效的特征。

        要注意，论文中指出，如果去掉任何一个卷积层，都会使网络的分类性能大幅下降。

            

三、AlexNet的新技术点

    AlexNet的新技术点（即大牛论文的contribution），如下：

（1）ReLU作为激活函数。

    ReLU为非饱和函数，论文中验证其效果在较深的网络超过了SIgmoid，成功解决了SIgmoid在网络较深时的梯度弥散问题。

（2）Dropout避免模型过拟合

    在训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。在alexnet的最后几个全连接层中使用了Dropout。

（3）重叠的最大池化

    之前的CNN中普遍使用平均池化，而Alexnet全部使用最大池化，避免平均池化的模糊化效果。并且，池化的步长小于核尺寸，这样使得池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

（4）提出LRN层

    提出LRN层，对局部神经元的活动创建竞争机制，使得响应较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

（5）GPU加速

（6）数据增强

    随机从256*256的原始图像中截取224*224大小的区域（以及水平翻转的镜像），相当于增强了（256-224）*（256-224）*2=2048倍的数据量。使用了数据增强后，减轻过拟合，提升泛化能力。避免因为原始数据量的大小使得参数众多的CNN陷入过拟合中。

四、AlexNet的搭建

    利用tensorflow实现ALexNet，环境为：win10+anaconda+python3+CPU(本人仅利用CPU，未使用GPU加速，所以最终模型训练速度较慢)。

    利用tensorboard可视化ALexNet结构为&#