对于1 * 1卷积层自己的一点理解
1 *1 卷积层最早是2014年ICLR的一篇名为《Network In Network》的论文提出的从下面图片可以看成 1 * 1卷积层其实就相当于全连接层也就是相当于输入乘以权重。它为改变输入的大小,
1*1 卷积的作用
一、 实现特征通道的升维和降维
通过控制卷积核的数量达到通道数大小的放缩。而池化层只能改变高度和宽度,无法改变通道数。
二、 增加非线性
1×1卷积核的卷积过程相当于全连接层的计算过程,并且还加入了非线性激活函数,从而可以增加网络的非线性,使得网络可以表达更加复杂的特征。
三、 减少卷积核参数(简化模型)
在Inception Network中,由于需要进行较多的卷积运算,计算量很大,可以通过引入1×1确保效果的同时减少计算量。具体可以通过下面例子量化比较
总结
1×1卷积大部分时候都是升维或降维的作用,因为1*1卷积不会对相邻像素之间的关系进行学习,但却可以通过改变卷积后的通道数实现特征图数据的增加或减少。
可以升降维度,创造更多(少)的feature map1*1卷积虽然没法捕捉空间上的pattern,但是可以捕捉深度上的pattern
一般和其他卷积层组合使用,比如说一对([1 x 1, 3 x 3],[1 x 1, 5 x 5])卷积层能想象成一个卷积层,能捕捉更复杂的pattern。