论文地址:http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
中文翻译:http://blog.csdn.net/liumaolincycle/article/details/50496499
1. 网络结构
2012年,Hinton的学生AlexKrizhevsky提出了深度卷积神经网络模型,可以算是LeNet的一种更深更宽的版本,其获得了2012年ILSVRC比赛分类项目的冠军,top-5错误率16.4%,使用额外数据可达到15.3%。AlexNet包含了八个学习层——5个卷积层和3个全连接层。
1.1 修正线性单元ReLU
相对于饱和非线性函数如tanh和sigmoid函数,不饱和非线性函数f(x)=max(0,x)在梯度训练时间上表现要快得多,称这种不饱和非线性的神经元为修正线性单元ReLU。训练带ReLUs的深度卷积神经网络比带tanh单元的同等网络要快好几倍。
如图,对于特定的4层卷积网络,在CIFAR-10数据集上达到25%训练误差多需要的迭代次数显示。带ReLU网络比带tanh网络快六倍。
另外,使用ReLU作为CNN的激活函数,在较深的网络中成功解决了sigmoid在较深网络中的梯度弥散问题。
1.2 在多个GPU上训练
通过多个GPU加速训练过程,跨GPU并行化时,GPU之间的读写通信不需要通过主机内存。同时,AlexNet的设计让GPU之间的通信只在网络的某些层进行,控制了通信的性能损耗。
1.3 局部响应归一化层
局部响应归一化层,LocalResponse Normalization(LRN)。
用表示点(x,y)处通过应用核计算出的神经元激活度,然后应用ReLU非线性,响应归一化活性
由下式给出
其中求和覆盖了n个“相邻的”位于相同空间位置的核映射,N是该层中的核总数。核映射的顺序当然是任意的,且在训练开始前就确定。受到在真实神经元中发现的类型启发,这种响应归一化实现了一种侧向抑制,在使用不同核计算神经元输出的过程中创造对大激活度的竞争,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。常数k,n,α和β是超参数,它们的值要用验证集来确定;我们使用。我们在某些层应用ReLU归一化后再应用这种归一化。
1.4 重叠的最大池化
此前的CNN普遍使用平均池化,AlexNet全部使用最大池化,避免了平均池化的模糊化效果,并且AlexNet提出步长比池化层的尺寸小,池化层的输出之间就会有重叠和覆盖,提升了特征的丰富性。
2. 减少过拟合
2.1 数据增强 Data Augmentation
减少数据图像过拟合最简单最常用的方法,是使用标签保留转换(label-preserving transformations),人为地扩大数据集。这里采用了两种方法,随机裁取和水平镜像翻转,即随机地从256*256的原始图像中截取224*224大小的区域及它们的水平翻转镜像,相当于增加了2*(256-224)^2=2048倍的数据量,且由此产生的扩充训练集一定是高度相互依赖的。如果没有数据增强,参数众多的CNN会陷入严重的过拟合中,采用了数据增强后,大大减轻了过拟合,增强了模型的泛化能力。
在模型预测的时候,对图片的四个角加中心位置共5个位置并进行水平镜像翻转得到10张图片,对他们进行10次预测后求平均值。
论文中还提到了会对图像的RGB数据进行PCA处理,并对主成分做一个标准差为0.1的高斯扰动,增加一些噪声。这个Trick可以让错误率再下降1%。
2.2 Dropout
一种非常有效的模型组合版本,起到多模型组合预测的作用,且在训练中只花费两倍于单模型的时间。Dropout技术做的就是以0.5的概率将每个隐层神经元的输出设置为0,即随机忽略一部分神经元,以避免模型过拟合。在AlexNet结构中,对前两个全连接层使用Dropout,若没有Dropout我们的网络会表现出大量的过拟合,Dropout使收敛所需的迭代次数大致增加了一倍。
3. 整体结构
如图所示,AlexNet包括了8个参数层(不包括池化层和LRN层),5层卷积层和3层全连接层,最后一个全连接层的输出送到一个1000-way的Softmax层,产生一个覆盖1000类标签的分布。
LRN层出现在第1个及第2个卷积层后,最大池化层(3*3,步长为2)出现在2个LRN层及最后一个卷积层后。ReLU激活函数应用在这8层每一层后面。
CNN体系结构示意图,明确显示了两个GPU之间的职责划分。一个GPU运行图中顶部的层次部分,而另一个GPU运行图中底部的层次部分。GPU之间仅在某些层互相通信。该网络的输入是150,528维的,且该网络剩下各层的神经元数分别为253,440–186,624–64,896–64,896–43,264–4096–4096–1000。
第一个卷积层利用96个大小为11×11×3、步长为4个像素(这是同一核映射中邻近神经元的感受野中心之间的距离)的核,来对大小为224×224×3的输入图像进行滤波。第二个卷积层需要将第一个卷积层的(响应归一化及池化之后的)输出作为自己的输入,且利用256个大小为5×5×48的核对其进行滤波。第三、第四和第五个卷积层彼此相连,没有任何介于中间的pooling层与归一化层。第三个卷积层有384个大小为3×3×256的核被连接到第二个卷积层的(归一化的、池化的)输出。第四个卷积层拥有384个大小为3×3×192的核,第五个卷积层拥有256个大小为3×3×192的核。全连接层都各有4096个神经元。
4. 学习过程
我们使用随机梯度下降法和一批大小为128、动力为0.9、权重衰减为0.0005的样例来训练我们的网络。我们发现,这少量的权重衰减对于模型学习是重要的。换句话说,这里的权重衰减不仅仅是一个正则化矩阵:它减少了模型的训练误差。对于权重w的更新规则为
其中i是迭代指数,v是动力变量,ε是学习率,是目标关于w、对 wi求值的导数在第i批样例 Di上的平均值。
我们用一个均值为0、标准差为0.01的高斯分布初始化了每一层的权重。用常数1初始化了第二、第四和第五个卷积层以及全连接隐层的神经元偏差。该初始化通过提供带正输入的ReLU来加速学习的初级阶段。在其余层用常数0初始化神经元偏差。
我们对于所有层都使用了相等的学习率,这是在整个训练过程中手动调整的。遵循的启发式是,当验证误差率在当前学习率下不再提高时,就将学习率除以10。学习率初始化为0.01,在终止前降低三次。训练该网络时大致将这120万张图像的训练集循环了90次,在两个NVIDIA GTX 580 3GB GPU上花了五到六天。