Alexnet学习笔记

一、Alexnet结构：

输入图片尺寸227*227*3、5个卷积层、3个全连接层、输出1000类

1、conv1：3*11*11*96，步长为4，RELU；pooling1：3*3，步长为2；LRN；输出为27*27*96;

2、conv2：96*5*5*256，步长为1，RELU；pooling2：3*3，步长为2；LRN；输出为13*13*256;

3、conv3：256*3*3*384，步长为1，RELU；输出为13*13*384;

3、conv4：384*3*3*384，步长为1，RELU；输出为13*13*384;

5、conv5：384*3*3*256，步长为1，RELU；polling5：3*3，步长为2；输出为6*6*256;

6、fullconne;1：RELU、dropout、4096；

7、fullconnet2：RELU、dropout、4096；

8、fullconnet3：Softmax、1000；

二、Alexnet创新点：

1、激活函数采用RELU取代Sigmod，解决了Sigmod函数在训练过程中的梯度消失问题。

2、polling层采用最大池化，避免了平均池化的模糊化效果，且池化核的尺寸大于步长，这样池化层的输出之间会有重叠和覆盖，提高了特征的丰富性。

3、LRN层，对局部神经元的活动创建竞争机制，相响应较大的值变得更大，抑制反馈较小的神经元，增强了泛化能力。

4、Dropout，网络中的神经元以0.5的概率被随机丢掉，前向传播然后反向传播并利用梯度下降法更新权重，下一次迭代时恢复被丢掉的神经元，并重复上述过程。很好的解决了过拟合问题，（1）整个dropout过程相当于对不同的神经网络综合取平均，一些反向过拟合可以相互抵消；（2）降低神经元之间的共适应关系，迫使网络去学习更加鲁棒的特征。

5、数据增强，对图片进行裁剪、平移、翻转，RGB亮度变化等。

6、采用两块GPU加速训练。