【读懂论文1】：AlexNet！深度学习大爆炸的奇点！

1 意义

该文开启了持续到现在的深度学习热潮，是深度学习近十年来蓬勃发展的宇宙大爆炸奇点。2012年，论文中指出，该方法在ILSVRC-2012竞赛中获得冠军并遥遥领先于第二名。
论文地址：ImageNet Classification with Deep Convolutional Neural Networks

2 创新

2.1 更深

在AlexNet之前较为有名的是九十年代Yan LeCun发表的LeNet，该网络有两个卷积层，主要用于处理手写数字的识别，也就是用经典的MNIST数据集进行训练的网络。、
而AlexNet有5个卷积层，并且Alex也指出，去掉任何一个卷积层都会使结果的精度降低，所以这“比较深”的网络层数是有必要的。
拥有更深的层数，也就是论文标题中“Deep”的所指。而深度学习也由此开花结果到现在还未显疲态。

2.2 俩GPU

如论文中的网络结构图所示，中间的各个层都被分成了上下两个部分，而这是因为AlexNet就是用两个GPU来进行训练的。
在遥远的十年前，对ImageNet这种大型数据集用单个的GPU训练是较为困难的，故在这篇论文中，他们用俩GPU对数据进行并行的计算。值得注意的是，被分成上下两部分的中间层不是一直没有联系的，如第二三卷积层之间，二者的信息是共享的。
同时，相比于只用一个GPU，双GPU为结果提升了1.7%的准确率，不过我并不清楚原因。

2.3 ReLU

正所谓大道至简，相比于设计得更为复杂平滑得$sig$