Network in Network and 1×1 convolutions

1.前言

在了解了常用的3×3和5×5卷积后，听到1×1卷积你会感到困惑。3×3和5×5的卷积核可以对特征的像素进行提取和聚合计算，1×1的卷积能干什么呢？

2. 1×1的卷积如何作用？

2.1 1×1 convolutions in 2D image

如下图所示，输入一幅6×6的图像大小，经过一个参数为2的1×1的卷积核卷积计算后，输出的矩阵只是会在每个像素上的数值对应翻倍。看起来没有任何的意义。
但是不要着急，我们继续看在3维的特征图中，1×1卷积是如何作用的。

2.1 1×1 convolutions in 3D features

如下图所示，输入是一个6×6×32的特征图，经过一个1×1×32的卷积核进行计算。具体来说，1×1卷积在此处所实现的功能是遍历这36个单元格，计算蓝色图中每个单元格中的32个数字与卷积核中的32个数字对应乘积求和，然后应用ReLU非线性函数输出。
咱们以蓝色特征图中的黄色这个1×1×32的单元格为例子，乘以卷积核1×1×32。具体来说，其本质就是一个全连接的作用，这个32个数值每个数值乘以卷积和赋予的对应的权重，最终求和经过ReLU非线性函数输出得到一个数值。

这个思想的源自2014年的一篇论文《Network in Network》。这篇文章提出的网络架构并没有广泛使用，但是其中提到的1×1的卷积思想在现在的计算机视觉各个领域大放异彩。

3. 1×1卷积作用体现在何处？

在1×1卷积概念广泛应用以前，我们的卷积神经网络的趋势是输入一幅图像H×W×C，通过不断的卷积池化，得到的最终的特征图H和W一定是越来越小，C则是越来越大。
而有了1×1卷积的方式，我们就可以压缩通道数大小。

总而言之，卷积池化可以压缩特征图的高度H和宽度W，1×1卷积可以压缩或增加特征图的通道数C。

4. 1×1卷积的网络框架应用举例

4.1 Inception结构应用1×1卷积网络结构参数和削减计算成本

卷积核大小：5×5×192
卷积核参数数目：5×5×192×32=153600
计算成本：28×28×32×5×5×192= 120M
卷积核大小：1×1×192 5×5×16
卷积核参数数目：（1×1×192）×16+（5×5×16）×32=3072+12800=15872
计算成本：28×28×16×（1×1×192）+28×28×32×（5×5×16）=12.4M

项目	baseline	Using 1×1 convolutions
卷积核大小	5×5×192	1×1×192 5×5×16
卷积核参数数目	153600	15872
计算成本	120M	12.4M

4.2ResNet残差结构应用1×1卷积降低和恢复维度

总结：1×1卷积的作用

1.降低维度或者升高维度（增加channel之间的信息交流）
2.削减网络参数和计算成本
3.只有在channel不为1的输入，1*1卷积才有意义

参考文献

1.《Network in Network》
2.《ResNet》
3.《Inceptionv1》
4.吴恩达网易云课堂《deeplearning.ai》课程