论文阅读001-AlexNet-ImageNet Classification with Deep Convolutional Neural Networks

摘要翻译
在ImageNet LSVRC-2010竞赛中，我们训练了一个庞大的深度卷积神经网络，将120万张高像素图片分成1000类。在测试集中，top-1和top-5的错误率达到了37.5%和17.0%，这是目前最好的结果。神经网络有6千万个参数和65万个神经元，由5个卷积层和3个全连接层组成，其中某些卷积层后跟有一个max-pooling层，同时最后跟有一个1000-way的softmax层。为了加快训练速度，我们使用了non-staurating 神经元和一个高效的gpu设备来进行卷积操作。为了减少全连接层的过拟合现象，我们使用了最近研究出的dropout方法，事实证明这非常有效。这个模型的变体在ILSVRC-2012比赛中top5错误率达到了15.3%获得第一名，第二名为26.2%。

激活函数
ReLU——修正非线性结构

模型结构
5个卷积层+3个全连接层

减少过拟合
一、数据增强
1、预处理后的图像为256256，提取图像224224（上下左右中）和图像水平映射
2、改变训练图像的RGB通道的灰度（？？？）

训练要点
1、使用随机动量梯度下降（stochastic momentum descent)
批样本量为128，动量参数为0.9，权重衰减为0.0005
使用高斯分布（标准差0.01）初始化权重，bias大部分设为1，其余设为0，初始学习率为0.01，迭代大概90次

理解重点
local response normalization——LRT 局部响应归一化
参考文献 https://blog.csdn.net/yangdashi888/article/details/77918311

写在最后
因为没有及时保存，之前写的一些笔记都丢失了?，暂时先不重写一遍了。。