在CNN或者其他深度学习网络中,总是会看到1×1卷积层,但是对这个层是如何起作用的和存在的意义不是很了解,查阅了大量的资料,现在做一些简要的总结,供交流。
如下图所示,图片来源参考4。
图中表示输入层维度为4×4×5,kernel有3个,大小为1×1,strides=1,输出层维度为4×4×3,比较输入层和输出层,两者在平面空间维度上是没有变化的,都为4×4,但从纵向深度上改变了,从5变为3,可以将这个维度理解为feature channel的数目,从颜色上来看,可以理解为不同颜色的kernel作用与输入层,分别得到一个值,放在输出层的对应位置上。
当kernel的数目大于原有输入层的第三个维度,则表示对原有输入进行纵向深度的增加;当kernel的数目小于原有输入层的第三个维度,则表示对原有输入进行纵向深度的降低。一般使用的是1×1 convolution的降维作用,以减少参数数量,降低计算量。
如下图所示,来源于参考5:
计算量为:
计算量为:
还有一方面的作用是,在深度学习网络中,经过网络各层处理后得到的feature map中存在feature冗余,这种方法也能够起到降低冗余的作用,提取出更有效用的feature。
提供几个可供参考的网站:
1.https://iamaaditya.github.io/2016/03/one-by-one-convolution/
2.https://stats.stackexchange.com/questions/194142/what-does-1x1-convolution-mean-in-a-neural-network
4.https://hacktilldawn.com/2016/09/25/inception-modules-explained-and-implemented/