摘要翻译
在ImageNet LSVRC-2010竞赛中,我们训练了一个庞大的深度卷积神经网络,将120万张高像素图片分成1000类。在测试集中,top-1和top-5的错误率达到了37.5%和17.0%,这是目前最好的结果。神经网络有6千万个参数和65万个神经元,由5个卷积层和3个全连接层组成,其中某些卷积层后跟有一个max-pooling层,同时最后跟有一个1000-way的softmax层。为了加快训练速度,我们使用了non-staurating 神经元和一个高效的gpu设备来进行卷积操作。为了减少全连接层的过拟合现象,我们使用了最近研究出的dropout方法,事实证明这非常有效。这个模型的变体在ILSVRC-2012比赛中top5错误率达到了15.3%获得第一名,第二名为26.2%。
激活函数
ReLU——修正非线性结构
模型结构
5个卷积层+3个全连接层
减少过拟合
一、数据增强
1、预处理后的图像为256256,提取图像224224(上下左右中)和图像水平映射
2、改变训练图像的RGB通道的灰度(???)
训练要点
1、使用随机动量梯度下降(stochastic momentum descent)
批样本量为128,动量参数为0.9,权重衰减为0.0005
使用高斯分布(标准差0.01)初始化权重,bias大部分设为1,其余设为0,初始学习率为0.01,迭代大概90次
理解重点
local response normalization——LRT 局部响应归一化
参考文献 https://blog.csdn.net/yangdashi888/article/details/77918311
写在最后
因为没有及时保存,之前写的一些笔记都丢失了?,暂时先不重写一遍了。。