AlexNet

Imagenet classification with deep convolutional neural networks

AlexNet

Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

总结

网络结构是5层卷积和3层全连接，使用不饱和激活函数ReLU加快训练速度，局部响应标准化LRU可以加快训练速度增加模型泛化能力，因为用了不饱和激活函数ReLU，所以不能再加快速度了。重叠池化，不容易过拟合，提升少许性能。本文的减少过拟合是一个重点，使用了随机裁剪和翻转，以及PCA改变图片像素值来作为数据扩增手段，另外还用了Dropout来减少过拟合。在预测方面，一张256图片，4角中心取5张，翻转后变成10张，取模型结果的平均作为最后的结果。结果在LSVRC-2010和2012上测评，单模型，集成5个模型和预训练模型。

---

摘要

ImageNet是一个数据集，有1500万标记过的高分辨率图片，22000个类别。

ImageNet Large-Scale Visual Recognition Challenge（ILSVRC）是用ImageNet部分数据集（1000个类别）举办的比赛，训练集120万张，验证机5000张，测试集15万张。有两个评价指标，top-1，top-5指预测出来概率前5的结果中包括了正确标签。

ImageNet图片大小不一，中心裁剪到256大小，使用训练集的均值对图片去均值。

引言

现有的方法是用机器学习做目标识别。因为数据集少，机器学习足够了，但是现实中的图片就不一样了。出现了大规模标注的数据集，LabelMe、ImageNet。

需要有足够学习能力的模型来学习这么多图片的目标。然而现实中那么多图片，不都包含在ImageNet中，所以需要学习先验知识。CNN可以通过改变深度和宽度来增加学习能力，和普通的机器学习神经网络相比可以学习到图片的本质，也就是统计的平稳性和像素相关性的局部性，而且参数更少，更容易训练。

CNN效果好，效率也比较高，但是还是不能用在高分辨率的图片上。使用高度优化的二维卷积，现在的GPU可以放两张像ImageNet的图片。有足够的图片可以防止严重的过拟合。

在ImageNet子集ILSVRC2010和2012的数据集上训练模型，在GPU上实现卷积和其他训练操作。在第3节介绍了一些方法来提高模型性能，减少训练时间。第4节介绍了一些有效的防止过拟合的方法。

模型受限于GPU，可以通过提高GPU和数据集来获得更好的效果。

数据集

ImageNet是一个数据集，有1500万标记过的高分辨率图片，22000个类别。

ImageNet Large-Scale Visual Recognition Challenge（ILSVRC）是用ImageNet部分数据集（1000个类别）举办的比赛，训练集120万张，验证机5000张，测试集15万张。有两个评价指标，top-1，top-5指预测出来概率前5的结果中包括了正确标签。

ImageNet图片大小不一，中心裁剪到256大小，使用训练集的均值对图片去均值。

网络结构

先介绍一些除了卷积以外的其他特殊的操作。ReLU激活函数，饱和激活函数比不饱和训练的慢。

因为本文主要是减少过拟合，所以没有展开讨论传统变体激活函数和ReLU的好坏。ReLU激活函数不需要对输入进行标准化来防止它到饱和区域，因为只要有正的输入就可以训练神经元。但是局部归一化LRU可以增加泛化能力。

bix,y=aix,y/(k+α∑j=max0,i−n/2