AlexNet 论文粗读

一个人工智能系统，由数据、算法和算力构成。

1 数据

在我们学习的机器学习或深度学习知道，数据集很小会导致过拟合，它限制了网络的大小，也就限制了识别类别的数量。更大的数据集能提高网络的性能。

这篇论文使用的数据集是ImageNet。数据集ImageNet是一个包含超过1500万张高分辨率图像的数据集，大约22000个类别。

ILSVRC（ImageNet大规模视觉识别挑战赛）仅使用ImageNet的一个子集，在1000个类别中每个类别大约有1000张图片。总共大约有120万张训练图像，5万张验证图像和15万张测试图像。

AlexNet有6000个参数，1000个类别，这点数据量是不够的，论文采用图像平移、水平反射和改变RGB通道的强度实现数据增强

论文中的网络的输入维度恒定，而数据集的分辨率不是一样的，因此要将图像降采样到固定的256 × 256分辨率。

2 算法

算法就是论文中的网络，网络是神经网络的简称，神经网络由一个个神经元组成，而神经元是将上一个神经元的输出作为输入，然后对输入进行加权求和，最后经过一个激活函数，这个激活函数是非线性的，原因是非线性函数的分类（划分特征）能力比线性函数更强，因此一般激活函数都是非线性的。在卷积神经网络CNN中使用的是tanh饱和的非线性函数，而这篇论文使用一个新的激活函数–ReLU（线性整流函数） 非饱和非