之前在看GoogLeNet中的Inception v1模型时,看到其中有很多1*1的卷积层,之前总是不太明白加这些有什么用啊?
降维
在认真学习后,发现自己忽略了一个重要的因素。就是卷积核的个数。1*1的卷积核主要是通过减少channel数量来实现特征维度降低,从而减少整个网络模型的参数的。原始的Inception module中,参数数量为:
(64*192*1*1)+(128*192*3*3)+(32*192*5*5)
而增加1*1卷积网络后,整个module中的参数数量为:
(64*192*1*1)+(1*1*96*128+128*96*3*3)+(5x5x16x32+1x1x192x32)
通过比较,可以看到由于1*1的卷积使得特征图的channel数量减少,从而大大降低了整个module中的参数数量。
同理,通过增加1*1卷积核的数量,可以进行升维。