【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络AlexNet

感谢关注天善智能，走好数据之路↑↑↑

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

---

上周我们用PaddlePaddle和Tensorflow实现了图像分类，分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集。在上周的实验表现中，经过200次迭代后的LeNet-5的准确率为60%左右，这个结果差强人意，毕竟是二十年前写的网络结构，结果简单，层数也很少，这一节中我们讲讲在2012年的Image比赛中大放异彩的AlexNet，并用AlexNet对cifar-10数据进行分类，对比上周的LeNet-5的效果。

什么是AlexNet？

 　　AlexNet在ILSVRC-2012的比赛中获得top5错误率15.3%的突破（第二名为26.2%），其原理来源于2012年Alex的论文《ImageNet Classification with Deep Convolutional Neural Networks》，这篇论文是深度学习火爆发展的一个里程碑和分水岭，加上硬件技术的发展，深度学习还会继续火下去。

AlexNet网络结构

　　由于受限于当时的硬件设备，AlexNet在GPU粒度都做了设计，当时的GTX 580只有3G显存，为了能让模型在大量数据上跑起来，作者使用了两个GPU并行，并对网络结构做了切分，如下：

网络结构

Input输入层

输入为224×224×3的三通道RGB图像，为方便后续计算，实际操作中通过padding做预处理，把图像变成227×227×3。

C1卷积层

该层由：卷积操作 + Max Pooling + LRN（后面详细介绍它）组成。 

卷积层：由96个feature map组成，每个feature map由11×11卷积核在stride=4下生成，输出feature map为55×55×48×2，其中55=(227-11)/4+1，48为分在每个GPU上的feature map数，2为GPU个数； 

激活函数：采用ReLU； 

Max Pooling：采用stride=2且核大小为3×3（文中实验表明采用2×2的非重叠模式的Max Pooling相对更容易过拟合，在top 1和top 5下的错误率分别高0.4%和0.3%），输出feature map为27×27×48×2，其中27=(55-3)/2+1，48为分在每个GPU上的feature map数，2为GPU个数； 

LRN：邻居数设置为5做归一化。 

最终输出数据为归一化后的：27×27×48×2。 

C2卷积层

该层由：卷积操作 + Max Pooling + LRN组成 

卷积层：由256个feature map组成，每个feature map由5×5卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为2的padding，输出feature map为27×27×128×2，其中27=(27-5+2×2)/1+1，128为分在每个GPU上的feature map数，2为GPU个数； 

激活函数：采用ReLU； 

Max Pooling：采用stride=2且核大小为3×3，输出feature map为13×13×128×2，其中13=(27-3)/2+1，128为分在每个GPU上的feature map数，2为GPU个数； 

LRN：邻居数设置为5做归一化。 

最终输出数据为归一化后的：13×13×128×2。

C3卷积层

该层由：卷积操作 + LRN组成（注意，没有Pooling层） 

输入为13×13×256，因为这一层两个GPU会做通信（途中虚线交叉部分） 

卷积层：之后由384个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×192×2，其中13=(13-3+2×1)/1+1，192为分在每个GPU上的feature map数，2为GPU个数； 

激活函数：采用ReLU； 

最终输出数据为归一化后的：13×13×192×2。

C4卷积层

该层由：卷积操作 + LRN组成（注意，没有Pooling层） 

卷积层：由384个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×192×2，其中13=(13-3+2×1)/1+1，192为分在每个GPU上的feature map数，2为GPU个数； 

激活函数：采用ReLU； 

最终输出数据为归一化后的：13×13×192×2。

C5卷积层

该层由：卷积操作 + Max Pooling组成 

卷积层：由256个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×128×2，其中13=(13-3+2×1)/1+1，128为分在每个GPU上的feature map数，2为GPU个数； 

激活函数：采用ReLU； 

Max Pooling：采用stride=2且核大小为3×3，输出feature map为6×6×128×2，其中6=(13-3)/2+1，128为分在每个GPU上的feature map数，2为GPU个数. 

最终输出数据为归一化后的：6×6×128×2。

F6全连接层

该层为全连接层 + Dropout 

使用4096个节点； 

激活函数：采用ReLU； 

采用参数为0.5的Dropout操作 

最终输出数据为4096个神经元节点。

F7全连接层

该层为全连接层 + Dropout 

使用4096个节点； 

激活函数：采用ReLU； 

采用参数为0.5的Dropout操作 

最终输出为4096个神经元节点。

输出层

该层为全连接层 + Softmax 

使用1000个输出的Softmax 

最终输出为1000个分类。

AlexNet的优势

1.使用了ReLu激活函数

　　----原始Relu-----

AlexNet引入了ReLU激活函数，这个函数是神经科学家Dayan、Abott在《Theoretical Neuroscience》一书中提出的更精确的激活模型。原始的Relu激活函数（可参见 Hinton论文