1×1卷积功能

之前对1×1卷积的作用的看法主要是多通道融合和降低feature map数量，最近又看到一个新说法，记录一下：
转自：http://finance.jrj.com.cn/tech/2017/07/07185122717460.shtml?utm_source=tuicool&utm_medium=referral

用1×1卷积，能实现一个更复杂的网络结构，但是它的计算的复杂度反而会进一步降低，它的思路非常简单，比如说任何一个卷积，它在ReLU用完了之后，你会发现大概有40%或者更多的位置上它的输出是0的。如果这个位置输出是0，它原来是负10、负100还是0就变得不那么重要了。如果可以把为0的数字估算出来，这样具体的卷积就不用计算了。比如说你有一个3×3的卷积，下面加一个对应的1×1卷积，在ReLU完成以后，我们把它做一个点乘，1×1卷积的输出只要为0，上面具体的数字是多少就变得根本不重要。如果我们有40%恩的位置是0，上面有40%的计算量就可以忽略，下面因为是1×1卷积，它的计算量只有1/9甚至更少，这样你就用1/9的时间节省了40%的计算量，所以它是非常值得的。  　　

从理论上来说，这种网络结构也不会有精度的损失，最终的精度方面可以达到你的模型的速度的提升。