AlexNet文章解析(上)

入门小菜鸟一直在追深度学习有关问题，之前读了Lenet-5的文章，还有CNN训练方法的文章，最近在读ImageNet2012年获得冠军的Alexnet的文章，下面就由小女子解析一番~

原文题目：ImageNet Classification with Deep Convolutional Neural Networks

摘要:

       在ImageNet LSVRC-2010比赛中，我们通过120万张高分辨率图像训练了深层卷积神经网络，用来将这些图像分为1000个不同的类。在测试集上的top-1，top-5的错误率分别为：37.5%,17.5%（对于这里的top-5，开始有些疑问，和于老师讨论了一下：这里top-1的意思是：给出一个最可能的标签，判错就认为整体判错。top-5的意思是：对于一幅图像，给出五个可能性最大的标签，如果这五个中不含有正确的分类信息，那么就认为判错.）此神经网络有6千万个参数，65万个神经元。

结构：使用了5个卷积层（其中有一些后面加上了最大池化操作），3个全连接层，最后一层使用了softmax分类器。

为了加快计算速度，使用了非饱和神经元（这里不是太理解）,和GPU参与计算。

为了避免过拟合，在全连接层，使用了最新的一种正则化方法“dropout”方法。

在ImageNet LSVRC-2012中，获得冠军，top-5的错误率为：15.3%。

1. Introduction

       在这部分，作者说了很多背景的东西，我只挑一些干货：

       目前，一些简单的分类问题已经解决的很好了（比如在Minst数据集上做分类误差<0.3%），但是由于自然图像变化是非常大的，所以如果我们想识别自然图像，需要更大的数据集。但是任务的复杂度太大，即使是目前最大的数据集Imagenet都很难完全满足，所以我们希望能够通过大量的先验知识弥补数据上的不足（感觉这句话写的特别好，可以回答原来老师问我的问题：为什么要使用卷积神经网络而不使用别的方法。答：因为卷积神经网络引入了感受野的概念，这与人们识别物体的原理相似，也就是用了先验知识，弥补样本不足带来的问题）。通过加大神经网络的深度，拓展神经网络的宽度增加网络的表达能力。