AlexNet-学习记录

引入：本次学习内容基本来自于Alex Krizhevsky,Geoffrey E. Hinton等编写的的《ImageNet Classification with Deep Convolutional Neural Networks》，以及部分AlexNet讲解视频（此处强烈推荐b站up“跟着李沐学AI”），本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。

（一）论文摘要：作者训练了一个大型深度卷积神经网络，将ImageNet LSVRC-2010竞赛中的120万高分辨率图像分为1000个不同的类别。在测试数据上，他们实现了37.5%的top-1错误率和17.0%的top-5错误率，这比以前的最先进方法要好得多。神经网络有6000万个参数和65万个神经元，包括五个卷积层（其中一些后面跟着最大池化层）和三个全连接层，最后是一个1000维的softmax层。为了加快训练速度，作者使用了非饱和神经元和非常高效的GPU实现卷积操作（双GPU训练）。

（二）发表时间：2012

（三）关键词：卷积神经网络，ReLU,正则化，多GPU训练

（四）学习内容：AlexNet的提出是为了完成图像的分类任务，即ImageNEt图像分类大赛。论文的特点大概有如下几类：（1）相比于以往,Alex等人使用了ReLU函数，而不是以往常用的tanh函数。在含有ReLU的深度卷积神经网络中，训练速度比使用tanh神经元的等价网络快几倍。到目前为止，仍然在使用ReLU函数，它的用法也非常简单，复数值全部归为0，简洁明了。至少在我看来，不用像tanh函数那样背那么多复杂公式了。

                                   （2）多块GPU的同时运行，这大大提高了运算的效率，也解决了部分模型过大的问题。此处主要针对的是AlexNet最终全连接层输出结果达到了惊人的4096的大小。但也不免让人疑问，如果我只有一块GPU该怎么办，你这个模型我就无法复现了，这也是ALexNet模型的一个问题——模型过大，过于复杂。

                                  （3）或许是作者并没有认识到它在文章第二部分数据集提到的一点，原文是这样说的“We did not pre-process the images in any other way, except for subtracting the mean activity over the training set from each pixel. So we trained our network on the (centered) raw RGB values of the pixels.”。作者没有对图像进行特征抽取之类的操作，就只是简单的裁剪了图片，然后丢进卷积里面操作了。这其实也是目前很多人想要做到的"end to end "（"end-to-end"是指从输入到输出的整个流程都由一个模型或系统直接完成，没有中间步骤或人工干预）但作者只是提了一嘴，并没有作为一个亮点来讲；在当时，相比于其他人，作者这种用原图来做，还做的很舒服是一件很厉害的事情，但他似乎忽略了，大佬就是大佬，随便挖个坑，后人都得追着研究。

                               （4）作者在训练模型时使用的SGD来进行优化，而随机梯度下降是一种简单且高效的优化算法。通过每次迭代随机选择一个样本来估计梯度并更新参数，SGD能够有效地优化模型并收敛到较好的性能。

（四）存在的疑问：（1）作者将自己的模型划分为两部分，但是为什么划分为两部分，或者我如果划成三部分会怎样呢，似乎没有细说。（2）作者在文章第一段就直接说用CNNs，但当时大家好像不怎么用CNN,但作者也并没有与其他的方法进行比较，狂字一字溢于言表。兄弟们以后写论文不是大佬别这样做。

（五）总结：AlexNet总体论文阅读比LeNeT-5体验好很多了，毕竟正文也就8页。论文中的“dropout"之类的技术，以及作者的数据增强思路，我并未记录，因为现在要么有更好的，要么就不怎么用了，感兴趣可以自己去看看，多学点总是不错的。

PS:初学者入门读论文增长见识，如果错误欢迎各位大佬批评指正，十分感谢。

最后祝各位读到我的记录的兄弟学业进步，永远不死。