AlexNet记录

AlexNet的记录

AlexNet的概述

采用ImageNet在LSVRC—2010竞赛的数据集，将120万张高分辨率的图片分到1000个不同的类别里，测试数据的错误率分别达到top-1 37.5%,top-5 17%的错误率。采用的神经网络有6000万个参数，650000个神经元。有5个卷积层，3个全连接层，最后有一个1000维的softmax。 为了使网络训练的时间更快，采用了非饱和非线性的神经元ReLU。为了减少全连接的过拟合，采用了dropout的正则化的方法。
作者用这个模型的一个变种模型参加了LSVRC-2012年的比赛，达到了top-5 15.3%的错误率，第二名达到了top-5 26.2%的错误率，效果远好于第二名。这个网络使用了两个GTX580 3GB GPU，在上面训练了5，6天。
由于当时的设备限制，实验的结果可以通过更快的GPU和更大的数据集来提高。

数据集

ILSVRC使用ImageNet的子集，有1000个类别，每个类别有1000张，共有120万个训练图片，50000张验证集图片，15万张测试图片。ILSVRC-2010可以或获得测试集标签，但是ILSVRC-2012不可以获得测试集标签。

除了训练集上像素减去平均活跃度外，不对图像做其他预处理

对图像进行去均值的处理，原因是图像做为一种平稳的数据分布，通过减去数据对应维度的统计平均值，可以消除公共部分，以凸显个体之间的特征和差异。

1架构