笔记(5):卷积神经网络(3)

前面几篇文章大致讲了卷积神经网络的基本构成，其中最难的就是卷积层的方向推导过程，但是这应该不是问题，因为现在很多架构都已经实现好了，只需要我们去配置模型就可以，当然，如果能够自己理解然后推导出来更加好。

下面介绍几个卷积神经网络的模型：AlexNet,GoogLeNet,VGG

AlexNet

AlexNet是一个具有5层卷积层和3层全连接层的神经网络模型。这个模型的提出推动了深度学习的发展进程。AlexNet的结构如图所示：

从上图我们可以知道，这个模型的训练分布在两块GPU上，只有在第三层卷积层和全连接层中才会有GPU之间的数据传递。

第一层卷积层

首先输入为 $227 \times 227 \times 3$ 而不是 $224$，由图可知道一共有 96 个大小为 $11 \times 11 \times 3$ 的卷积核，并且步幅为 4 。那么经卷积操作后，就得到 $55 \times 55 \times 96$ 的卷积层，其中 $(227-11)/4+1=55$，只就是为什么我们说输入为 227 的原因。这里需要注意的是，在卷积操作后，还要进行非线性变换，而AlexNet采用了ReLu。

第二层卷积层

首先第一层卷积层经过ReLu后依然输出 $55 \times 55 \times 96$，但在输入到第二层卷积层之前还要经过大小为 $3 \times 3$ 而步幅为2的Max-pooling，输出为 27×