阅读论文：AlexNet

AlexNet：ImageNet Classification with Deep Convolutional Neural Networks

论文信息：

训练了一个大规模的深度卷积神经网络来将ImageNet LSVRC-2010比赛中的包含120万幅高分辨率的图像数据集分为1000种不同类别。在测试集上，本文所得的top-1和top-5错误率分别为37.5%和17.0%，该测试结果大大优于当前的最佳水平。本文的神经网络包含6千万个参数和65万个神经元，包含了5个卷积层，其中有几层后面跟着最大池化（max-pooling）层，以及3个全连接层，最后还有一个1000路的softmax层。为了加快训练速度，本文使用了不饱和神经元以及一种高效的基于GPU的卷积运算方法。为了减少全连接层的过拟合，本文采用了最新的正则化方法“dropout”，该方法被证明非常有效。作者以该模型的变体参加了ILSVRC-2012比赛，相比第二名26.2%，我们以15.3%的top-5测试错误率获胜。

---

AlexNet要点：

1.网络框架：

基本结构

a. 共有8层，其中前5层convolutional，后边3层full-connected，最后的一个full-connected层的output是具有1000个输出的softmax，最后的优化目标是最大化平均的multinomiallogistic regression。
b. 在第一层conv1和conv2之后直接跟的是Response-nomalizationlayer，也就是norm1，norm2层。
c. 在每一个conv层以及full-connected层后紧跟的操作是ReLU操作。
d. Max pooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5。
e.Dropout操作是在最后两个full-connected层。

2.具体贡献：主要是LRN、ReLU和DropOut的引入
基于ILSVRC-2010和ILSVRC-2012比赛中用到的ImageNet的子集本文训练出了至今为止一个最大的卷积神经网络并且得到了迄今基于这些数据集最好的结果；
本文实现了一种高度优化的二维卷积的GPU运算以及卷积神经网络训练中所有其他运算，这些都已公开提供；
本文网络中包含了大量的不常见和新的特征来提升网络性能，减少训练时间；
即使有120万带标签的训练样本，网络的大小使得过拟合仍成为一个严重的问题，因此本文使用了许多有效的防止过拟合的技术，即DropOut（组合多个模型的预测结果是一种非常有效的减少过拟合方法，但是代价太高。 而dropout是一种有效的组合模型的方法，只需要两倍的训练时间即可实现模型组合（类似取平均）的效果）；

3.与CaffeNet的细微区别：pool和LRN的顺序替换（如图），还有：bias设置的细微差别

技术要点：
一、使用ReLU代替Sigmoid作为CNN激活函数，解决了Sigmoid在网络较深时出现的梯度弥散问题。
二、最后的全链接层采用Dropout策略，避免过拟合。
三、使用重叠的最大池化，最大池化避免平均池化的模糊化问题，重叠提升了特征的丰富性。
四、提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
五、使用CUDA利用GPU加速深度卷积网络的训练。
六、数据增强，随机地从大图像中截取224*224大小的区域作为输入，并通过翻转等操作增加数据量，可减轻过拟合，提升泛化能力。预测时提取图片四个角加中间五个位置并进行左右翻转一共十幅图片，进行预测求平均值。

思考：AlexNet很经典，如何得到比AlexNet更简单但是性能更好的网络？
1.conv1层卷积核从11×11缩小到9×9,更小的卷积核可以提取更精细的特征。conv2,conv3的输出节点数由256减少至192，pad由2减少为1。每次pooling，后面输出×2。
2.删除所有的LRN层：LRN层的参数设置需要经过交叉验证，同时实践也证明，经过恰当的参数初始化并使用类似于BatchNormalization的归一化操作之后，LRN层对提升网络的范化能力并无增益。
3.删除Group操作。AlexNet采用Group操作是为了利用两块显卡进行并行训练，而目前已经有更好的方法。
4.大小为5×5卷积核拆分为两层的3×3的卷积核，网络深度增加的同时没有增加计算量
5.第二个全连接层的节点数从4096调整为2048
6.总的来说，把网络变深变瘦，高瘦的网络性能一般优于矮胖的网络，性能不够，加层来凑
7.大网络导致的收敛困难可以通过BatchNormalization和ResidualNet来解决（1001层网络成为现实）
8.有的实际问题并不是总需要大规模的网络，甚至不一定需要dl