论文Pruning Filters for efficient convnets解读

由于常规基于大小对权重的剪枝可以对全连接层的参数显著较少，但可能对卷积层的计算量降低不够，因为剪枝后的网络的不规则稀疏。本论文对输出精度影响较小的卷积核以及与之相连的特征映射移除，达到计算量显著降低的效果。与权重剪枝不同的是，本文的方法不会导致稀疏连接模式。

过滤器Filters和特征图Feature maps的剪枝

$n_i$为第$i$层卷积层的输入通道数，$h_i/w_i$为输入特征图的高/宽。卷积层将输入特征图$X_i\in {\mathbb{R}}^{n_i\times h_i\times w_i}$转换为$X_{i+1}\in {\mathbb{R}}^{n_{i+1}\times h_{i+1}\times w_{i+1}}$。这是通过$n_{i+1}$个3D过滤器${\mathcal{F}}_{i,j}\in {\mathbb{R}}^{n_i\times k\times k}$作用在$n_i$个输入通道上，即，一个过滤器产生一个特征图。每个过滤器由$n_i$个2D卷积核$\mathcal{K}\in {\mathbb{R}}^{n_i\times n_{i+1}\times k\times k}$。原论文中给出的卷积层的运算数为
$$n_{i+1}{n}_i{k}^2{h}_{i+1}{w}_{i+1}$$
这里应该只是给出了卷积操作时与权重相关的乘法运算，输出的单个特征图上的每个元素对应于$n_i$次卷积运算，每个卷积核的运算数为$k^2$，这样，输出特征图上的单个元素的运算数为$n_i{k}^2$，单个特征图的运算为$n_i{k}^2{h}_{i+1}{w}_{i+1}$，共生成$n_{i+1}$个特征图。如果第$j$个3D过滤器${\mathcal{F}}_{i,j}$被剪枝，则相应的第$i+1$层中的第$j$个特征图$X_{i+1,j}$也将被移除，这样减少运算数为$n_i{k}^2{h}_{i+1}{w}_{i+1}$。与之对应的第$i+2$层的运算数减少$n_{i+2}{k}^2{h}_{i+2}{w}_{i+2}$。对第$i$层剪去$m$个过滤器，第$i$和$i+1$层所减少的计算开销的比例均为$m/n_{i+1}$（第$i$层减少的运算数和总运算数分别为$m{n}_i{k}^2{h}_{i+1}{w}_{i+1}$和$n_{i+1}{n}_i{k}^2{h}_{i+1}{w}_{i+1}$，第$i+1$层减少的运算数和总运算数分别为$m{n}_{i+2}{k}^2{h}_{i+1}{w}_{i+1}$和$n_{i+1}{n}_{i+2}{k}^2{h}_{i+1}{w}_{i+1}$）。过滤器剪枝所对应的特征图移除以及下一层卷积核移除，如下图所示。

单层中的过滤器剪枝

出于对计算效率的考虑，在尽可能减小精度下降的前提下，对已经受到良好训练的网络中的不重要的过滤器进行剪枝。

通过对每一层中的过滤器的权重绝对值之和$\sum |{\mathcal{F}}_{i,j}|$的计算，即，$l_i-norm$ 。

第$i$层卷积层进行m个过滤器剪枝的过程：

1. 对于每个过滤器${\mathcal{F}}_{i,j}$，计算其核权重的绝对值之和$s_j={\sum }_{l=1}^{n_i}\sum |{\mathcal{K}}_l|$
2. 对$s_j$进行排序
3. 对m个最小值的过滤器以及相应的特征图进行剪枝。对应于该特征图的下一层的卷积层的核也移除
4. 对第$i$层和第$i+1$层创建新的核矩阵，并将剩下的核权重拷贝到新模型中。

多层过滤器的剪枝

一次性进行多层过滤器剪枝的优势：

1. 对于深度网络，逐层剪枝和再训练是非常耗时的
2. 对整个网络层进行剪枝，给出了得到较小网络的鲁棒性的整体视角，
3. 对于复杂网络，整体视角可能是必要的。例如，对于ResNet，对恒等特征图的剪枝活每个残差块的第二层的剪枝会导致其他层的剪枝

为了对多层过滤器剪枝，本文提出了层级过滤器选择的两种策略：

1. 独立剪枝，对每一层的过滤器决定是否剪枝与其他层无关
   择的两种策略：

2. 独立剪枝，对每一层的过滤器决定是否剪枝与其他层无关

3. 贪婪剪枝，考虑到先前层中所移除的过滤器。这种策略在计算权重绝对值之和时，不需要考虑先前已剪枝的特征图所对应的核。