2012年Imagenet比赛冠军的model——Alexnet (以第一作者alex命名)
模型结构见下图,别看只有寥寥八层(不算input层),但是它有60M以上的参数总量,事实上在参数量上比后面的网络都大。
由于当时的显卡容量问题,AlexNet 的60M个参数无法全部放在一张显卡上操作,所以采用了两张显卡分开操作的形式,其中在C3,R1,R2,R3层上出现交互,所谓的交互就是通道的合并,是一种串接操作。
这个图有点点特殊的地方是卷积部分都是画成上下两块,意思是说吧这一层计算出来的feature map分开,但是当前层用到的数据要看连接的虚线,如图中input层之后的第一层第二层之间的虚线是分开的,是说第二层上面的128map是由第一层上面的48map计算的,下面同理;而第三层前面的虚线是完全交叉的,就是说每一个192map都是由前面的128+128=256map同时计算得到的。
我们来计算下这些参数都是怎么来的:
C1:96×11×11×3(卷积核个数/宽/高/卷积核的通道数) 34848个
C2