【论文阅读】AlexNet——深度学习奠基作之一

原文链接

Step 1

1. title+abstract

• 第一句：告诉我干了什么事情
  我们训练了一个很大很深的卷积神经网络，用来对120w个图片作分类，这里面有1000个类

• 第二句：结果
  在测试集上面，top-1 error=37.5%，top-5=17.0%，比前面的结果都要好

  （这里的前两句是一种很少见的写法）

• 第三句：介绍
  这个神经网络有6千万个参数和65w个神经元
  神经网络有5个卷积层，一些MaxPooling层，三个全连接层，最后有一个1000维度的softmax

• 第4、5句：训练方式
  为了训练快一点，我们使用了非饱和神经元和能高效进行卷积运算的GPU实现（GPU的使用在2012年左右已经算是比较正常了，2007年NVIDIA出了CUDA库之后，12年往后GPU在机器学习界使用的很多，当时很多还是用matlab，里面有很多GPU的加速包）
  为了减少全连接层的过拟合，我们应用了最近在发展的正则化方法“dropout”，这被证实非常有效

• 第6句：成果
  我们把这个墨西哥放到了2012年的竞赛中，top-5=15.3%，这里第二名是26.2%
  （这里的15.3开始会感觉和上面17.0有点矛盾，往后看）

不是一个非常好的摘要，更像一个技术报告
好处是很明确的告诉读者数据好，看到数据有需要的话就继续看

2. discussion

看完前面直接跳到最后
这篇文章是没有结论的，这只有一个讨论
讨论一般是吐吐槽，看看未来要干什么；结论一般是和摘要的一一对应
（所以没有结论通常说是比较少见的一个事）

• 总结一下是
  • 深度卷积神经网络的表现：研究表明，使用纯监督学习的大型深度卷积神经网络在一个具有挑战性的数据库上取得了突破性的结果。
  • 卷积层的作用：网络性能在去除任何一个卷积层后都会下降，尤其是去除中间层时，网络的top-1表现会下降约2%。这表明网络的深度对于取得这些结果至关重要。
    （最后这个结论没错，但是前面，把一层conv拿掉然后数据降了2%，并不能说明深度一定是最重要的，也可能是参数没调好。AlexNet去掉一些层&更改中间参数，还是有办法达到同样效果的）
    （除了深度很重要，宽度也是很重要的，不能很深2且很窄）
  • 无监督预训练的潜力：尽管实验中没有使用无监督预训练，但研究者认为无监督预训练有助于提升网络表现，尤其是在计算能力足够的情况下，能够增加网络规模而不增加标注数据的需求。
    （深度神经网络的训练在当时是很难的，所以会用一些无标签的数据让他预热）
  • 未来方向：尽管当前实验结果随着网络规模和训练时间的增加而有所提高，但仍有许多进步空间，目标是接近人类视觉系统的推理时间路径。最终，研究者希望能在视频序列上使用非常大且深的卷积网络，利用时间结构来提供缺失或不明显的信息。

图表公式

（因为是看完discussion往上翻的，所以这里是倒着翻的）

左边展示测试结果
右边把神经网络最后的图片在倒数第二层的输出拿出来得到一个长的向量，给定一张图片，看一下这个向量上最近的图片是谁（横行），可以看出来找出来的内容都是和输入的图片是同一类的
（这篇文章没有讨论这个结果的重要性，但实际上这是