卷积神经网络框架一：ALXE网络：ImageNet Classification with Deep Convolutional Neural Networks

卷积神经网络框架之ALXE网络

原文：ImageNet Classification with Deep Convolutional Neural Networks

简述：
本文训练了截止当时为止最大卷积神经网络，并有效的减少测试错误率，进而提出了一种神经网络模型框架。本文提出Alexnet网络模型，该模型由5个卷积层，多个最大池化层和3个全连接层组成，并有效提出“dropout”正则方法以抑制过拟合，在实际应用中，将错误率大为减少。

问题or相关工作：
1.系统结构
与传统前馈神经网络相比，CNNs具有更少的连接和参数，因此更容易训练，提出Alexnet网络模型，该模型由5个卷积层，多个最大池化层和3个全连接层组成，并发现缺少任意层数都会影响最终误差率，重叠池化层可以有效减少0.5%左右的错误率，但具有重叠池化层的模型发现稍微难以overfit。
数据集选用imagenet，总共大约有120万张训练图像、50,000张验证图像和150,000张，将图像预处理，使得训练图像同意为256×256像素点，并置于RGB三通道，即大小为256×256×3。
用relu非线性函数在数据集上达到25%训练误差所需的迭代次数远远小于tanh函数，并对某些层应用ReLU非线性之后应用归一化。
本方案的“brightness normalization”与局部对比度归一化方案有一些相似之处，但我们没有减去mean activity,使得误差率降低1.5%左右。
通过两个GPU并行化相互读取对方内存，比单GPU网络快，并提出在未来更高效的GPU出现后，对更大的数据集训练后一定会使错误率再度降低。
2.抑制过拟合方法:
2.1 data augmentation：
生成图像平移和水平反射
改变训练图像中RGB通道的强度
2.2 Dropout：
目前多用结合多个模型进行预测的方法来抑制过拟合，但这种方法对大型神经网络来说过于昂贵，“dropout”的神经元不参与正向传递，也不参与反向传播。因此，每次输入时，神经网络都会对不同的体系结构进行采样，但所有这些体系结构都共享权重。这种技术减少了神经元复杂的协同适应，因为神经元不能依赖于特定的其他神经元的存在，以抑制过拟合。
2.3.weight decay 权重衰减：
权重衰减等价于L2范数正则化:

由于0<λ<1，故更新后的权值w衰减。当然考虑到后面的导数项，w最终的值可能增大也可能减小。

​

模型：

图中可清楚的看清两个GPU的职责描述，一个GPU负责顶部部件，一个GPU负责底部部件。网络包含8层权重，前五个是卷积的，其余三个是完全连接的。最后一个全连接层的输出被提供给一个1000路softmax，它产生一个超过1000个类标签的分布。

成果：

CNN与其他方法相比的TOP-1 和 top-5 的错误率。其中，top1指输出分类中可能性最高的标签，top5输出分类中可能性排名前5的标签。

不同训练层数对应的错误率以及对先前训练出来的错误率比较。