1*1卷积核,这种小巧的卷积核从GoogLeNet,ResNet之后得到了广泛的使用,其在理论上和时间上都被证明了针对特定的问题可以一定程度地提升神经网络的效率。
关于1*1卷积核的作用,总体而言主要有如下两个方面的内容:
- 进行升维与降维并减少网络参数。关于其降维并减少网络参数的特点在GooLeNet中表现得一览无遗,详情可以参见GooLeNet,关于其升维并减少网络参数的功能在ResNet中使用得非常突出。关于详情可以参考http://www.caffecn.cn/?/question/136。
- 提升跨通道的信息整合与信息交互。我们知道,1*1的卷积核的每一个filter可以实现跨通道的信息通信,因此虽然是简单的线性组合,但是却丰富了信息的表现形式,因此有利于特征的提取。
总体而言,小卷积已经成为了一种主流,在实践中是一种应该特别考虑的技巧。