Network in Network and 1×1 convolutions
1.前言
在了解了常用的3×3和5×5卷积后,听到1×1卷积你会感到困惑。3×3和5×5的卷积核可以对特征的像素进行提取和聚合计算,1×1的卷积能干什么呢?
2. 1×1的卷积如何作用?
2.1 1×1 convolutions in 2D image
如下图所示,输入一幅6×6的图像大小,经过一个参数为2的1×1的卷积核卷积计算后,输出的矩阵只是会在每个像素上的数值对应翻倍。看起来没有任何的意义。
但是不要着急,我们继续看在3维的特征图中,1×1卷积是如何作用的。
2.1 1×1 convolutions in 3D features
如下图所示,输入是一个6×6×32的特征图,经过一个1×1×32的卷积核进行计算。具体来说,1×1卷积在此处所实现的功能是遍历这36个单元格,计算蓝色图中每个单元格中的32个数字与卷积核中的32个数字对应乘积求和,然后应用ReLU非线性函数输出。
咱们以蓝色特征图中的黄色这个1×1×32的单元格为例子,乘以卷积核1×1×32。具体来说,其本质就是一个全连接的作用,这个32个数值每个数值乘以卷积和赋予的对应的权重,最终求和经过ReLU非线性函数输出得到一个数值。
这个思想的源自2014年的一篇论文《Network in Network》。这篇文章提出的网络架构并没有广泛使用,但是其中提到的1×1的卷积思想在现在的计算机视觉各个领域大放异彩。
3. 1×1卷积作用体现在何处?
在1×1卷积概念广泛应用以前,我们的卷积神经网络的趋势是输入一幅图像H×W×C,通过不断的卷积池化,得到的最终的特征图H和W一定是越来越小,C则是越来越大。
而有了1×1卷积的方式,我们就可以压缩通道数大小。
总而言之,卷积池化可以压缩特征图的高度H和宽度W,1×1卷积可以压缩或增加特征图的通道数C。
4. 1×1卷积的网络框架应用举例
4.1 Inception结构应用1×1卷积网络结构参数和削减计算成本
卷积核大小:5×5×192
卷积核参数数目:5×5×192×32=153600
计算成本:28×28×32×5×5×192= 120M
卷积核大小:1×1×192 5×5×16
卷积核参数数目:(1×1×192)×16+(5×5×16)×32=3072+12800=15872
计算成本:28×28×16×(1×1×192)+28×28×32×(5×5×16)=12.4M
项目 | baseline | Using 1×1 convolutions |
---|---|---|
卷积核大小 | 5×5×192 | 1×1×192 5×5×16 |
卷积核参数数目 | 153600 | 15872 |
计算成本 | 120M | 12.4M |
4.2ResNet残差结构应用1×1卷积降低和恢复维度
总结:1×1卷积的作用
1.降低维度或者升高维度(增加channel之间的信息交流)
2.削减网络参数和计算成本
3.只有在channel不为1的输入,1*1卷积才有意义
参考文献
1.《Network in Network》
2.《ResNet》
3.《Inceptionv1》
4.吴恩达网易云课堂《deeplearning.ai》课程