SlimConv： 通过权重翻转减少卷积神经网络中的信道冗余

作者：Jiaxiong Qiu, Cai Chen, Shuaicheng Liu
, and Bing Zeng
University of Electronic Science and Technology of China

slimconv机制分为三步：重构，转换，融合

                                                        图2  修改后的SE module

重建 给定一个输入特征图： 如图 2 所示，我们用内核大小为 1 × 1 的卷积层代替全连接层（fc），并使用较大的缩减比 32 作为默认设置。获取 w 的整个过程可以表示为

其中，z 2 R C 包含信道统计量，σ 指的是 sigmoid 函数，δ 是 ReLU[29]激活。Ff c1 和 Ff c2 是卷积运算，Ff c1 包括批量归一化 [18]。

在顶部路径中，我们将特征乘以 w，得到加权特征 Xw。然后，我们将 Xw 分成两部分（X1 w、X2 w），并将它们相加，将特征数量压缩到一半：

压缩可以减少冗余特征，但也可能导致有价值信息的丢失。为了解决这个问题，我们提出了底层路径。

在底部路径中，我们通过权重翻转来打乱特征权重的顺序。然后，我们利用翻转的通道权重 ˇw 进行与顶部路径相同的操作，以获得半通道特征 X 0 ˇw。

转换。我们遵循 ResNet 的瓶颈设计规则[13]，进行了两次变换。顶部变换器 F3×3 是一个卷积层，内核大小为 3。底部变换器包含两个卷积层 F1×1；F3×3，内核大小分别为 1 和 3。核大小为 1 的卷积层将通道数减半，然后是核大小为 3 的卷积层

融合。我们将两条路径的不同特征串联起来，以整合信息。我们的 SlimConv 可输出通道编号为 3c 4 的特征 Y。