《ImageNet Classification with Deep Convolutional Neural Networks》论文阅读

Abstract

在 LSVRC-2010 数据集上我们训练了分成 120 万张分成 1000 类的高分辨率图片,在测试集上分别获得了top-1,top-5 错误率分别是37.5%和17.0%。本神经网络包含6千万个参数,65万个神经元,由 5 个卷积层加 3 个全连接层组成。为了减少过拟合,使用了Dropout策略。同时我们使用这个模型参加了ILSVRC-2012 比赛,相较于第二名 TOP-5 错误率为 26.2%,我们以 15.3% 赢得了比赛。

1.PROLOGUE

Ynn LeCun和他的伙伴有一篇关于神经网络的文章在顶级会议上被拒了,那时的研究者相信更多地还是需要人为地去设计特征。 1980s 神经学家和物理学家相信分层的结构特征检测器更具有鲁棒性,但具体不知道分层结构会学习到什么样的特征。那时候部分研究者发现可以通过BP算法去有效的训练多层特征检测器,对于每个图像,分类器的性能取决于每个连接点上的权值。

BP推出虽然解决了训练的问题,但是还是不能满足当时人们的期望,特别是网络结构很深的时候,不能得到很好的结果,所以那时人们都觉得很难,但 2 年后,我们发现这是错误的,主要原因是没有足够多的数据集和足够大的计算能力。

2.Introduction

本文主要贡献如下:

1. 我们在ImageNet上训练了一个卷积神经网络,并且取得了目前最高的准确率

2. 我们写了一个基于2D卷积的GPU优化实施方案,并开源了它

3. 用了 ReLU,多 GPU 训练,局部泛化来提升性能并缩短训练时间

4. 用了 Dropout,数据增广来防止过拟合

5. 使用了5层卷积加3层全连接层,结构也很重要,减少网络深度性能会变差
   
(因为计算能力的限制,用了2块3GB的 GTX580 GPU 训练了5-6天)

3. The Dataset

ImageNet是一个有超过1500万张带有标签的高分辨率图片,这些图片被分成22000类,这些图片主要来自网上,人工打标签。 ILSVRC 比赛用了它的一个子集,接近1000类,平均每一类包含1000张图片,共有120万张训练图片,5万张验证图片,15万张测试集图片。

ILSVRC-2010是唯一一个测试集也有标签的版本,所以我们主要用这个数据集来进行实验,不过我们也参加了 ILSVRC-2012 的比赛。

ImageNet 只要有 2 个指标, top-1 和 top-5 。 top-5 是指正确的类别没有出现在前5个最有可能的类别中。因为 ImageNet 包含了不同分辨率的图片,而系统需要固定尺寸的图片,所以我们将数据集下采样成 256x256 的大小。对于长方形的图片,我们首先将短边编程256,然后在中心截取一个 256x256 的区域,除了训练时减去每个像素的均值意外,我们不对图片做任何的预处理。

4. The Architecture

结构主要包含了8层,5层卷积层,3层全连接层,下面就介绍一些新的,不常见的我们网络的特征。我们根据它们的重要程度,顺序说明。

4.1. Rectified Linear Unit nonlinearity

在一个简单的 4 层卷积网络上比 tanh 函数训练达到25%错误率的速度快了6倍,所以这里我们使用了 ReLUs 来训练神经网络加快训练速度以应对过拟合(overfitting)的情况。

在这里插入图片描述

4.2. Training on multiple GPUs

一个单 GTX580 只有3GB内存,(因为训练训练图像大小已经固定成256了)所以这就限制了我们神经网络的最大尺寸。实验证明 120 万个训练样本对训练网络来说是足够了,但是对一个 GPU 来说太大了,因此我们用了两个平行的 GPU 进行训练,将训练参数一分为二,并且只让它们之间在固定的层通信,例如第三层卷积层的输入来自整个第二层,而,第四层输入只来自和它在同一个 GPU 的第三层,这样的做法,相较于只在一块 GPU 上训练一般的参数,分别降低了 1.7%,1.2% 的 top-1,top-5,并且还能稍微有加快训练速度的效果。

##4.3. Local response normalization
  虽然 ReLUs 不需要再对输入进行泛化来防止饱和,当输入都是正例时,学习也能进行,但是,我们还是发现加入局部正规化可以帮助提升模型的泛化能力。
在这里插入图片描述
           
用以上公式,相关参数用验证机来调节。在文中用了 k = 2 , n = 5,α = 10e-4 , β = 0.75。我们在某些特定的层将正规化应用在 ReLUs 之后。实验证明,这样分别可以降低1.4%,1.2% 的 top-1 , top-5。并且简单的4层卷积网络在 Cifar10 上使用正规话错误率从13%降到了11%。

4.4. Overlapping pooling

就是采用有重叠区域的 pooling 操作,分别降低 0.4%,0.2% 的 top-1,top-5,并且有轻微的降低过拟合的可能。

4.5. Overall architecture

因为是双 GPU 训练,第 2,4,5的卷积层只与同一个 GPU 的卷积相连,第 3 层卷积层完全连接第 2 层。LRN层用在第1,2卷积层。最大值池化层用在了第1,2,5层。ReLU在每个卷积层和全卷积层都有使用。
在这里插入图片描述

5. Reducing Overfitting

5.1. Data augmentation

第一种增广方式是我们在 256x256 的图像上随机剪切一个 224x224 大小的图像,并将他们水平翻转后的样本也用来训练网络。在测试时,我们以4个角以及中心同样剪切成 224x224 大小的图片并水平翻转(一张图片变 10 张图片)输入网络后,将10张图片的softmax值加起来求平均,输出最终结果。

第二种增广方式是改变图像 RGB 通道的值。这个方法降低了 1% 的 top-1 准确率。

5.2. Dropout

被dropout掉的层不参与前向传播和反向传播,这样每一个样本训练的时候网络的结构都是不同的,我们在前2层的全连接层使用了 0.5 概率的 dropout,这也使迭代次数需要翻倍,训练才能收敛。

6. Details of learning

才用了随机梯度下降(SGD)算法进行训练,batch size = 128,momentum = 0.9, weight decay = 0.0005,实验证明,这里加入小数值的 weight dacay 对训练很重要,它不仅仅是一个正则化器,它还可以降低训练的错误率。

在这里插入图片描述

我们初始化为零均值,标准差为0.01的高斯分布,并且将第2,4,5卷积层和全卷积层的偏置设置成常数1,其他层设置成常数0,学习率从0.01开始,从训练开始到训练结束,学习率以10的倍数下降了3次(基本30 epoches下降一次),训练了 90 epoches 。

7. Results

在这里插入图片描述

还有一点很有取的是,两块 GPU 训练一块主要是色彩信息,一块主要是轮廓信息。
在这里插入图片描述

8.Discussion

值得一提的是,我们的网络移除任何一个卷积层性能都会下降。移除任意中间层都会降低 2% 的 top-1 准确率,所以网络的深度对于我们的结果也很重要。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值