模型压缩HRank: Filter Pruning using High-Rank Feature Map

paper地址:https://128.84.21.199/pdf/2002.10179.pdf
gitub地址:https://github.com/lmbxmu/HRank

简述:

论文的第一作者是厦门大学人工智能系2018级博士研究生林明宝,通讯作者是其导师纪荣嵘教授。论文提出了一种神经网络剪枝的算法,论文首次发现无论输入图片的数量是多少,每个卷积核所产生的特征图的平均的秩都不变。在此基础上,论文证明了秩较小的特征图包含的信息量较少,因此,产生低秩特征图的卷积核可以相对应裁剪掉,仅需要保留高秩特征图对应的卷积核。该算法在各类分类网络上均取得了较大的性能提升,达到了较高的压缩比。

在这里插入图片描述

矩阵秩

一个矩阵的rank就是最大线性不相关的向量个数。

文章主要思路

在CNN中输入feature map经过filter之后会生成一个新的feature map,这个feature map也是一个矩阵,它的rank就反应了其含有的有效信息量。有效信息量的多少即和输入feature map有关也和filter有关。如果一个feature map的秩小,就说明它含有的有效信息少,可能在决定整个网络结果中占有的重要性就低。如果一个feature map秩很大,说明其中很多信息是不能忽略的,在决定网络结果中占有重要作用。

作者在做压缩的过程中发现这样一个规律:多个输入feature map经过一个filter之后的feature map的平均rank几乎是不变的;这似乎表明了输出feature map的秩主要由filter来决定。这个发现让作者激动不已,这给了作者启发:通过少量的feature map就可以估算一个filter生成的feature map的秩的大小,那么这就给压缩网络带来了很小的代价,因为不用去计算更多的输入数据了
在这里插入图片描述
文章从数学上证明了产生低rank的feature map的filter对网络精度贡献很少,给压缩提供了空间。

实现方法:

该方法总体和自己原有的方式差别不是太呆,总体思路是:

1) 计算每个filter对所有图片的feature map的秩,并求出平均秩

2) 对平均秩进行排序,选择删除平均秩小的通道,组成新的weight(作者采用 MASK组成新的weight)
3)以此完成所有网络的重组

4) Fine-tune MASK后的模型;
在这里插入图片描述

实验结果

在这里插入图片描述
参考文献:

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 12
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值