1x1卷积核在卷积神经网络（CNN）中扮演着重要角色，它能够实现特征维度的调整，既可以升维也可以降维，从而增加网络深度而不显著增加参数量。通过与不同大小的卷积核结合，1x1卷积还能有效减少计算量。此外，1x1卷积用于多通道信息整合，允许跨通道线性组合，增强网络的信息交互。同时，1x1卷积结合非线性激活函数，可以在保持分辨率的同时提升网络的非线性表达能力。
1x1卷积核虽然不能进行上/下采样，但在CNN中仍有很重要的作用
1x1卷积核的作用
升维、降维
- 首先一个很简单的例子，feature map 大小为16x16 channel = 8，通过一个1x1 数量为4的卷积核，得到的输出就为16x16x4
- 降维最明显的影响就是增加了网络的深度，但是并不会增加网络的参数量，通过不同大小卷积核的组合，同时也可以大幅度减小计算量
输入56 * 56 * 192，使用5 * 5 * 32的卷积核。最终的计算量是：56 * 56 * 32 * 5 * 5 * 192 = 323,635,200
使用step1: 1 * 1 * 16
以及step2: 5 * 5 * 32的卷积核代替使用一个5 * 5 * 32的卷积核。
最终的计算量是：(56 * 56 * 16 *1 * 1 * 192 ) + (56 *56 32 * 5 * 5 * 16 ) = 49,774,562
计算量减小了6.6倍
多通道整合
- 如上面例子中的step1，输入的channel为192， step1输出的channel为16，这就时将输出的192个channel通过跨通道线性组合为了一个16的channel，即实现了多通道间的信息交互及整合
增加非线性能力
- 通过一个1x1的卷积核，可以保持feature map的大小不变，在不丢失分辨率的条件在1x1卷积层后方增加一个非线性激活函数来增强网络的非线性能力
扫一扫
422
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
