AlexNet相对于LeNet的改进之处

AlexNet本质上是一个更深更大的LeNet，与LeNet在架构上上没有太多本质的区别。

AlexNet的改进之处：

1.用Relu来替代sigmoid和tanh函数

作用：使网络训练以更快的速度收敛。

2.为降采样操作起了一个新的名字一池化 (Pooling)。提出了最大池化（max pooling）的概念，即对每一个邻近像素组成的“池子”，选取像素最大值作为输出。

作用：有重叠的最大池化能够很好的克服过拟合问题，提升系统性能。

3.随机丢弃(Dropout)：在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。

作用：减缓了网络收敛速度，避免了过拟合的发生。

4.增加训练样本量。

作用：避免因为样本不够而造成的性能损失。

5.使用gpu来加速训练。