AlexNet的主要特点有以下三点:
- 首次利用了GPU进行网络的加速训练。
- 激活函数使用的是ReLU,而不是sigmoid或tanh。
- 使用了LRN局部网络归一化(效果不大)。
- 使用了Dropout方法随机失活神经元减少过拟合。
AlexNet整个网络结构如图所示:
有很多卷积层和maxpooling层,最后通过一个全连接层输出类别,在这里,需要回顾一下卷积神经网络的一些概念。
卷积
假设要识别的图像的尺寸是 6*6,现在有多个Filter(卷积核),里面的参数是需要网络学习的,卷积操作即是:
- 将Filter放到图像的左上角,做矩阵的内积运算(对应数相乘,结果相加),结果保存。
- 向右移动stride(步距),继续内积运算,重复此步,直到到达右边界后向下移动一个stride。
- 重复步骤2。
这里假设Filter是3*3的,步距是1,那么最后就会生成一个4*4的矩阵,称为feature-ma