模型压缩HRank: Filter Pruning using High-Rank Feature Map

paper地址：https://128.84.21.199/pdf/2002.10179.pdf
gitub地址：https://github.com/lmbxmu/HRank

简述：

论文的第一作者是厦门大学人工智能系2018级博士研究生林明宝，通讯作者是其导师纪荣嵘教授。论文提出了一种神经网络剪枝的算法，论文首次发现无论输入图片的数量是多少，每个卷积核所产生的特征图的平均的秩都不变。在此基础上，论文证明了秩较小的特征图包含的信息量较少，因此，产生低秩特征图的卷积核可以相对应裁剪掉，仅需要保留高秩特征图对应的卷积核。该算法在各类分类网络上均取得了较大的性能提升，达到了较高的压缩比。

矩阵秩

一个矩阵的rank就是最大线性不相关的向量个数。

文章主要思路

在CNN中输入feature map经过filter之后会生成一个新的feature map，这个feature map也是一个矩阵，它的rank就反应了其含有的有效信息量。有效信息量的多少即和输入feature map有关也和filter有关。如果一个feature map的秩小，就说明它含有的有效信息少，可能在决定整个网络结果中占有的重要性就低。如果一个feature map秩很大，说明其中很多信息是不能忽略的，在决定网络结果中占有重要作用。

作者在做压缩的过程中发现这样一个规律：多个输入feature map经过一个filter之后的feature map的平均rank几乎是不变的；这似乎表明了输出feature map的秩主要由filter来决定。这个发现让作者激动不已，这给了作者启发：通过少量的feature map就可以估算一个filter生成的feature map的秩的大小，那么这就给压缩网络带来了很小的代价，因为不用去计算更多的输入数据了

文章从数学上证明了产生低rank的feature map的filter对网络精度贡献很少，给压缩提供了空间。

实现方法：

该方法总体和自己原有的方式差别不是太呆，总体思路是：

1） 计算每个filter对所有图片的feature map的秩，并求出平均秩

2） 对平均秩进行排序，选择删除平均秩小的通道，组成新的weight（作者采用 MASK组成新的weight）
3）以此完成所有网络的重组

4） Fine-tune MASK后的模型；

实验结果

参考文献：

• https://zhuanlan.zhihu.com/p/113150196