1*1卷积的理解与总结

1*1卷积的主要作用

1、降维（减少参数）。比如，一张500×500且深度为100的图片在20个filter上做1×1的卷积，那么结果的大小为500×500×20；
2、升维（用最少的参数拓宽网络channal）；
3、加入非线性。卷积层之后经过激励层，1×1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；
4、跨通道信息交互和特征整合（channal 的变换）。使用1×1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3×3×64的卷积核后面添加一个1×1×28的卷积核，就变成了3×3×28的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。注意：只是在channel维度上做线性组合，W和H上是共享权值的sliding window
5、从fully-connected layers的角度来理解1*1卷积核，将其看成全连接层

基本概述

1×1卷积首先是出现在Network in Network这篇论文当中，作者想要让网络变得更深，但并不是简单的去增加神经网络的层数。根据Aaditya Prakash (Adi)的观点，其实从某种程度来讲用1×1卷积并不是是网络变得更深，而是更宽，这里的宽实际上是增加数据量，但是通过1×1的卷积我们就可以对原始图片做一个变换，得到一张新的图片，从而可以提高泛化的能力减小过拟合，同时在这个过程中根据所选用的1×1卷积和filter的数目不同，可以实现跨通道的交