AlexNet本质上是一个更深更大的LeNet,与LeNet在架构上上没有太多本质的区别。
AlexNet的改进之处:
1.用Relu来替代sigmoid和tanh函数
作用:使网络训练以更快的速度收敛。
2.为降采样操作起了一个新的名字一池化 (Pooling)。提出了最大池化(max pooling)的概念,即对每一个邻近像素组成的“池子”,选取像素最大值作为输出。
作用:有重叠的最大池化能够很好的克服过拟合问题,提升系统性能。
3.随机丢弃(Dropout):在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。
作用:减缓了网络收敛速度,避免了过拟合的发生。
4.增加训练样本量。
作用:避免因为样本不够而造成的性能损失。
5.使用gpu来加速训练。