AlexNet层级分析（涉及：卷积核操作下下层网络特征图size计算；对通道和卷积核尺寸及通道前层feature map和卷积核的运算关系的解释）

先盗一图，摘自ImageNet Classification with Deep Convolutional Neural Networks（Hinton）

注：看到这个结构，可以得到以下结论（以2、3层为例）

1、第三层有128*2=256个通道，第二层有48*2=96个通道。每个通道内包含一张前层经卷积核卷积的的feature map,共256张和96张。而由第二层到第三层，第三层通道数（或feature map数）与卷积核相同，卷积核有256个。

2、由第二层的5*5立方体知，其向下映射的下层卷积核是 5*5*channel的立体卷积核，每一个第三层的feature map，都是通过对应该通道的卷积核与第二层相应通道进行卷积得到的。

由作者的原文可知，AlexNet模型在训练时使用了两个GPU，所以就出现了一些参数为两个GPU共享，一些参数是GPU独享。在建立此训练模型前，先分析各层的参数关系。

AlexNet模型共有5个卷积层，3个全连接层，前两个卷积层和第五个卷积层有pool池化层，其他两个卷积层没有池化。

第一卷积层：

由AlexNet架构图，第一卷积层的卷积核有96个（两个GPU各用48个），卷积核的尺度为11*11*3（3为RGB通道数），（注意：卷积核个数和卷积核尺度两个概念，卷积核尺度数描述卷积核的大小）步长stride为4。生成的卷积特征图单元数为55*55*48*2，每个特征图尺度为55*55，由此可知输入图像尺度为227*227(55(单向尺度)*4(步长) + (11(卷积核尺度)-4(步长)) = 227)。因此输入图像单元数为227*227*3*1(1为GPU数)。

（对通道和卷积核尺寸及通道前层feature map和卷积核的运算关系的解释：

）

第一池化层：

输入单个特征图尺度为55*55，池化尺度3*3，步长为2，输出池化特征图尺度为27*27((55(单向尺度)-3(池化尺度))/2(步长)+1 = 27)。特征图单元数为27*27*48*2.

第二卷积层：

由AlexNet架构图，卷积核有256个（两个GPU各128个，同时各作用于各GPU内的第一池化层的输出），卷积核尺度5*5*3，步长为1，生成卷积特征图单元数为27*27*128*2，每个特征图尺度为27*27，由此计算输入特征图尺度为31*31(27(单向尺度)*1(步长)+(5(卷积核尺度)-1(步长))= 31)。因此输入特征图单元数为31*31*96。

第二池化层：

输入单个特征图尺度为27*27，池化尺度3*3，步长为2，输出池化特征图尺度为13*13((27(单向尺度)-3(池化尺度))/2(步长)+ 1 = 13)。特征图单元数为13*13*128*2.

第三卷积层：

由AlexNet架构图，卷积核有384个（两个GPU各192个，同时需要共享各自GPU第二池化层的输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*192*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*256。

第四卷积层：

由AlexNet架构图，卷积核有384个（两个GPU各192个，同时不共享各自GPU内的第三卷积层输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*192*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*384。

第五卷积层：

由AlexNet架构图，卷积核有256个（两个GPU各128个，同时不共享各自GPU内的第四卷积层输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*128*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*384。

第五池化层：

输入单个特征图尺度13*13，池化尺度3*3，步长为2，输出池化特征图尺度为6*6((13(单向尺度)-3(池化尺度))/2(步长)+1 = 6)。特征图单元数为6*6*256.

第一全连接层：

输入特征图单元数为6*6*256，输出特征图单元数为4096，全连接参数个数为6*6*256*4096.

第二全连接层：

输入特征图单元数4096，输出特征图单元数为4096，全连接参数个数为4096*4096.

第三全连接层：

即输出层，输入特征图单元数为4096，输出特征图单元数为1000，全连接参数个数为4096*1000.