AlexNet学习

AlexNet的主要特点有以下三点：

• 首次利用了GPU进行网络的加速训练。
• 激活函数使用的是ReLU，而不是sigmoid或tanh。
• 使用了LRN局部网络归一化（效果不大）。
• 使用了Dropout方法随机失活神经元减少过拟合。

AlexNet整个网络结构如图所示：

 有很多卷积层和maxpooling层，最后通过一个全连接层输出类别，在这里，需要回顾一下卷积神经网络的一些概念。

卷积

假设要识别的图像的尺寸是 6*6，现在有多个Filter（卷积核），里面的参数是需要网络学习的，卷积操作即是：

1. 将Filter放到图像的左上角，做矩阵的内积运算（对应数相乘，结果相加），结果保存。
2. 向右移动stride（步距），继续内积运算，重复此步，直到到达右边界后向下移动一个stride。
3. 重复步骤2。