典型的神经网络模型

1. AlexNet

1.1 诞生背景

2012年，由Hinton的学生Alex Krizhevsky提出，获得当年ILSVRC（Image Large Scale Visual Recognition Challenge）比赛分类项目的冠军。

1.2 网络类型

深度卷积神经网络 DCNN。

1.3 新技术

• 成功使用ReLU作为CNN的激活函数，并验证了其在较深网络中的有效性，解决了Sigmod在网络较深时的梯度弥散问题。

• 训练时在最后几个全连接层使用 Dropout 随机忽略一部分神经元以避免模型过拟合；

• 使用重叠的最大池化。AlexNet全部使用最大池化，避免平均池化的模糊效果；并提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠覆盖，特升了特征的丰富性。

• 提出LRN（Local Response Normalization，局部响应归一化）层，如今已很少使用。

• 使用CUDA加速深度卷积神经网络的训练。当初用的还是两块GRX 580 GPU，发展的好快呀；

• 数据增强，随机从256256的原始图像中截取224224大小的区域作为网络输入。

整个AlexNet有5个卷积层和3个全连接层。

1.4 代码实现

TensorFlow版本；

2. VGGnet

3. GoogLeNet

参考：https://www.sohu.com/a/248875974_468740