前面几篇文章大致讲了卷积神经网络的基本构成,其中最难的就是卷积层的方向推导过程,但是这应该不是问题,因为现在很多架构都已经实现好了,只需要我们去配置模型就可以,当然,如果能够自己理解然后推导出来更加好。
下面介绍几个卷积神经网络的模型:AlexNet,GoogLeNet,VGG
AlexNet
AlexNet是一个具有5层卷积层和3层全连接层的神经网络模型。这个模型的提出推动了深度学习的发展进程。AlexNet的结构如图所示:
从上图我们可以知道,这个模型的训练分布在两块GPU上,只有在第三层卷积层和全连接层中才会有GPU之间的数据传递。
第一层卷积层
首先输入为 227×227×3 而不是 224 ,由图可知道一共有 96 个大小为 11×11×3 的卷积核,并且步幅为 4 。那么经卷积操作后,就得到 55×55×96 的卷积层,其中 (227−11)/4+1=55 ,只就是为什么我们说输入为 227 的原因。这里需要注意的是,在卷积操作后,还要进行非线性变换,而AlexNet采用了ReLu。
第二层卷积层
首先第一层卷积层经过ReLu后依然输出 55×55×96 ,但在输入到第二层卷积层之前还要经过大小为 3×3 而步幅为2的Max-pooling,输出为 27×