卷积网络演化史（一）

趁着假期，复习一下卷积网络的演化史

AlexNet

AlexNet的网络结构如下图所示：

AlexNet网络相比于之前的网络，有四方面的优点：

1.以Relu非线性激活函数取代sigmoids非线性激活函数;。

Relu函数的图像如下图所示：

由图像可看出，该函数在左侧具有硬饱和性，即当输入落入左侧时，导数为0；由于sigmoid函数在两侧均具有软饱和性，当输入位于两侧的饱和区域时，会使得导数十分小，从而使得传递的梯度变小，从而使得神经网络难以训练。而使用Relu函数时，由于右侧的导数恒为1，因此可以有效的缓解梯度消失现象。

2.AlexNet使用dropout来缓解过拟合问题。

dropout通过随机“关闭”神经网络节点来减少参数量。经过dropout后，神经网络变得稀疏，削弱了神经网络的表达能力，从而缓解过拟合现象。由于神经网络节点是随即关闭的，因此每次训练生成的神经网络结构都会有些许不同。

3.采用数据增强

ALexNet网络在训练时，不再只使用原图，还使用增强过的数据进行训练（比如随机位移或者镜像翻转）。通过这种训练，增强了网络的学习能力。

4. 采用了一些技巧加速训练

比如使用momentum（动量项）以及预先设置的学习率衰减来应对学习停滞的场景。

注意：AlexNet只有一条工作流，图上所示，只是因为AlexNet是在两个GPU上训练的。