【CVPR 2021】剪枝篇(四):Towards Compact CNNs via Collaborative Compression
论文地址:
https://arxiv.org/abs/2105.11228
主要问题:
信道剪枝和张量分解在卷积神经网络压缩中受到了广泛的关注。然而,这两种技术之前都是以独立的方式部署的(即优化方案是次优的),导致在追求高压缩率时精度显著下降
主要思路:
本文提出了一种协同压缩(CC)方案,该方案通过同时学习模型的稀疏性和低秩度,连接通道剪枝和张量分解来压缩CNN模型
具体来说,作者首先研究了网络中各层的压缩敏感性,然后提出了一个全局压缩率优化,将压缩率的决策问题转化为优化问题
之后作者提出了多步启发式压缩,逐步去除冗余压缩单元,同时充分考虑了剩余压缩空间(即未移除的压缩单元)的影响
而且作者的方法是一种训练后的压缩算法,同时探索了预训练网络的稀疏性和低秩度,比训练感知方法更容易应用