AlexNet简述（图像分类篇）

文章是对博主视频讲解的一些总结。
博主链接：https://blog.csdn.net/qq_37541097?spm=1001.2014.3001.5509

1.预言

ALexNet来自2012年，是Hinton和他的学生Alex Krizhevsky设计。

2.亮点

1.首次利用GPU进行网络加速训练。
2.使用了Relu激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数。
3.使用了LRN局部响应归一化。
4.在全连接层的前层的前两层中使用了Dropout随机失活神经元操作，以减少过拟合。

2.1 过拟合

过度拟合（方差大=test误差-dev误差），是由于模型没有泛化能力。
上面分别是欠拟合、适度拟合、过拟合。

2.2 Dropout正则化

目的解决过度拟合（减小方差）。
方法:
使用Dropout的方式在网络正向传向传播过程中随机失活一部分神经元。

3.网络结构介绍