论文阅读 ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

---

前言

对CNN结构的设计，之前的工作主要关注层间的连接方式，如 VGG 简单地把层堆叠在一起，ResNet 通过 identity mapping 把 block 的输入和输出加在一起，DenseNet 用 densely connecting 把每一层的输出拼接起来…而这篇文章提出的 ACNet 是通过寻找卷积核的权重与空间位置之间的关系设计的，实质上是一个即插即用模块，可以与其他网络方便地结合，达到 SOTA 性能。

---

Asymmetric Convolution Block (ACB)

一般 CNN 的卷积层都是用一个正方形的核，假设为 $d\times d$，而这里的 ACB ，还另外用了 $1\times d$ 和 $d\times 1$ 两个核来对方形核的 skeletons （中心十字架）位置进行加强。
训练的时候（上左图）ACB 有三个并行的卷积分支，而测试的时候（上右图）可以把三个分支融合成一个正方形核，不需要额外的计算开销。

卷积分支的融合

每个分支融合conv和BN

设原来的 kernel 为 $F=[F_1,F_2,...,F_{C_{out}}]\in R^{C_{in}\times d\times d\times C_{out}}$ ，BN层的均值 $\mu =[{\mu }_1,{\mu }_2,...,{\mu }_{C_{out}}]$，标准差 $\sigma =[{\sigma }_1,{\sigma }_2,...,{\sigma }_{C_{out}}]$，拟合均值 $\beta =[{\beta }_1,{\beta }_2,...,{\beta }_{C_{out}}]$，拟合标准差$\gamma =[{\gamma }_1,{\gamma }_2,...,{\gamma }_{C_{out}}]$
进行融合之后，等价于一个卷积层，核 $F_{fusion}^1$ 为
$$F_{fusion}^1=[\frac{{\gamma }_1}{{\sigma }_1}{F}_1,\frac{{\gamma }_2}{{\sigma }_2}{F}_2,...,\frac{{\gamma }_{C_{out}}}{{\sigma }_{C_{out}}}{F}_{C_{out}}]$$
偏置$b_{fusion}^1=[b_1^1,b_2^1,...,b_{C_{out}}^1]$中第 $i$ 个分量为
$$b_i^1=-\frac{{\mu }_i{\gamma }_i}{{\sigma }_i}+{\beta }_i$$

并行分支融合

如上图所示，把三个卷积分支合并，得到的仍是一个卷积层，核 $F_{fusion}^2$ 为
$$F_{fusion}^2=F_{fusion}^1\oplus {\bar{F}}_{fusion}^1\oplus {\hat{F}}_{fusion}^1$$
其中第 $i$ 个分量为
$$F_i^2=\frac{{\gamma }_i}{{\sigma }_i}{F}_i\oplus \frac{{\bar{\gamma }}_i}{{\bar{\sigma }}_i}{\bar{F}}_i\oplus \frac{{\hat{\gamma }}_i}{{\hat{\sigma }}_i}{\hat{F}}_i$$
偏置$b_{fusion}^2$为
$$b_{fusion}^2=b_{fusion}^1+{\bar{b}}_{fusion}^1+{\hat{b}}_{fusion}^1$$
其中第 $i$ 个分量为
$$b_i^2=-\frac{{\mu }_i{\gamma }_i}{{\sigma }_i}-\frac{{\bar{\mu }}_i{\bar{\gamma }}_i}{{\bar{\sigma }}_i}-\frac{{\hat{\mu }}_i{\hat{\gamma }}_i}{{\hat{\sigma }}_i}+{\beta }_i+{\bar{\beta }}_i+{\hat{\beta }}_i$$

最后相当于把三个分支等价融合成了一个方形核卷积层，测试的时候不需要额外的时间和计算开销。

---

实验

ACNet 在 Cifar 和 ImageNet 上都取得了很好的效果，这个不多说。值得一提的是，为了证明 skeleton 处的权重更重要，作者在卷积核的不同位置抹掉一些参数，得到了下图的结果


在 ResNet 和 ACNet 上的实验都表明，抹掉 skeleton 的参数，对性能造成的损害更大，这就说明了卷积核中不同位置确实有不同的重要性，而 skeleton 的权重相对来说更重要。这也是为什么 ACNet 采用两个条状卷积核对原始方形卷积核进行加强能获得提升的原因。