Alexnet文献阅读_01

                      深度卷积网络imagenet图像分类

一、摘要

原文

“We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes. On the test data, we achieved top-1 and top-5 error rates of 37.5% and 17.0% which is considerably better than the previous state-of-the-art.” (pdf)

🔤我们训练了一个大型的深度卷积神经网络，将ImageNet LSVRC - 2010竞赛中的120万张高分辨率图像分为1000个不同的类。在测试数据上，我们实现了37.5 %和17.0 %的top-1和top-5错误率，大大优于之前的先进水平。🔤

解读

(1)2010年LSVRC比赛（计算机视觉竞赛），首次使用了imagenet数据集，将图片分成1000类

(2)测试数据有37.5%的top-1和17%的top-5错误率

top-1错误率:在整个模型的预测结果当中第一个结果不为正确答案的概率

top-5错误率:在整个模型的预测结果当中5个预测结果没有有正确答案的概率

原文

“The neural network, which has 60 million parameters and 650,000 neurons, consists of five convolutional layers, some of which are followed by max-pooling layers, and three fully-connected layers with a final 1000-way softmax.” (pdf)

🔤该神经网络包含6000万个参数和65万个神经元，由5个卷积层组成，其中部分卷积层后接最大池化层，3个全连接层，最后是1000路softmax。🔤

解读

(1)神经网络包含6000万个参数，65万个神经元(函数)

(2)1000路softmax指最后有1000个类别

关于softmax

原文

“To make training faster, we used non-saturating neurons and a very efficient GPU implementation of the convolution operation. To reduce overfitting in the fully-connected layers we employed a recently-developed regularization method called “dropout” that proved to be very effective.” (pdf)

🔤为了使训练更快，我们使用非饱和神经元和一个非常高效的GPU实现卷积操作。为了减少全连接层中的过拟合，我们使用了最近开发的称为" dropout "的正则化方法，该方法被证明是非常有效的。🔤

解读

(1)使用非饱和神经元和GPU实现卷积

(2)防止过拟合，采用dropout正则化方法

饱和状态是指：激活函数输出的值趋于稳定，不再发生显著变化

非饱和神经元是采用了非饱和的激活函数,例如:relu及其变体

$$ReLu:f(x)=max(0,x)$$

常见的饱和的激活函数 Sigmoid ，Tanh

dropout:通过在训练过程中随机将一部分神经元的输出设置为零来减少过拟合。这有助于防止模型对特定训练样本的过度拟合。

1. 前向传播： 对于每个训练样本，随机选择一部分神经元，将它们的输出设置为零。这相当于在每次前向传播中创建了一个不同的网络结构。

2. 反向传播： 使用正常的反向传播进行梯度计算。被舍弃的神经元在反向传播中不更新梯度。

原文

“We also entered a variant of this model in the ILSVRC-2012 competition and achieved a winning top-5 test error rate of 15.3%, compared to 26.2% achieved by the second-best entry.” (Krizhevsky 等, 2017, p. 1) (pdf)

🔤我们在ILSVRC - 2012竞赛中也进入了该模型的一个变种，并获得了15.3 %的前5名测试错误率，而第二名的测试错误率为26.2 %。🔤

解读

(1)在2012年比赛中使用该模型的变种获得了15.3%，top-5的测试错误率