Hrank模型剪枝

HRank: Filter Pruning using High-Rank Feature Map

概述

这篇文章非常简单，直接使用每层的 $feature$ 结果去判断 $filter-kernel$ 的重要程度：

上图展示了网络每一层的特征重要程度分布情况，如何确定重要性？
$$\begin{array}{rl}{\mathbf{o}}_j^i(I,:,:)& =\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\\ & =\sum _{i=1}^{r^{\prime }}{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T+\sum _{i=r^{\prime }+1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\end{array}$$
看到上述公式就明白了，就是很简单的对 $feature-map$ 进行特征分解，特征值排序获得 $Rank$ 信息。

代码中直接使用矩阵的秩代替特征值（未懂特征值约等于矩阵的秩操作）

#get feature map of certain layer via hook
def get_feature_hook(self, input, output):
    global feature_result
    global entropy
    global total
    a = output.shape[0]
    b = output.shape[1]
    c = torch.tensor([torch.matrix_rank(output[i,j,:,:]).item() for i in range(a) for j in range(b)])

    c = c.view(a, -1).float()
    c = c.sum(0)
    feature_result = feature_result * total + c
    total = total + a
    feature_result = feature_result / total

代码中对于每层的剪枝率都有设置，比如下图中的GoogleLeNet，为什么每层的剪枝率都不同，这比率如何设置？

论文跑的结果效果可以，但是如果论文【18】也对不同的层设置不同的剪枝率，效果会不会不同？此论文如果设置全局剪枝率，而不是单独设置，会不会降低精度？

总结

• 模型剪枝真的太虚了，论文作者已经证明结构剪枝在不同层设置相同比例没有任何意思，但是还有很多人用$LearningEfficientConvolutionalNetworksthroughNetworkSlimming$ 这篇早期论文。如果仅仅为了设置一个比例，和手动设置比例没有任何区别。
• 此论文不同的层设置不同比例，这点论文没有任何说明！试想一下，使用BN在不同层设置不同剪枝比例，多调试几个参数，相比也能得到这个性能。当出现一个新模型（GhostNet）如何去剪枝呢？为啥没人去剪枝ShuffleNetV2，是因为压缩到极限了？