[深度学习]AlexNet和VGG论文笔记

AlexNet

2012年，Alex Krizhevsky（Hinton的学生）提出了AlexNet，它可以看做是LeNet的一个更深更宽版本。

这就是Gradient-Based Learning Applied to Document Recognition论文里LeNet模型的架构。

LeNet 这个网络虽然很小，但是它包含了卷积神经网络的基本模块：卷积层，池化层，全链接层。是其他深度学习模型的基础。

但是由于当时的计算机性能（没有GPU）,还有数据样本的限制等等原因没有快速发展起来。

而AlexNet在论文ImageNet Classification with Deep Convolutional Neural Networks 中的架构如下：

可以看到整体的思想并没有改变，但是却引入了ReLU，Dropout和LRN等trick。

整个AlexNet包含了了八个需要训练的层（不包括池化层），前五层是卷积层，后三层是全连接层。上图之所以分开两部分是因为作者使用了两块GPU训练。

AlexNet的每层结构参数如下：