【CVPR 2021】剪枝篇（四）：Towards Compact CNNs via Collaborative Compression

论文地址：

https://arxiv.org/abs/2105.11228

主要问题：

信道剪枝和张量分解在卷积神经网络压缩中受到了广泛的关注。然而，这两种技术之前都是以独立的方式部署的（即优化方案是次优的），导致在追求高压缩率时精度显著下降

主要思路：

本文提出了一种协同压缩（CC）方案，该方案通过同时学习模型的稀疏性和低秩度，连接通道剪枝和张量分解来压缩CNN模型

具体来说，作者首先研究了网络中各层的压缩敏感性，然后提出了一个全局压缩率优化，将压缩率的决策问题转化为优化问题

之后作者提出了多步启发式压缩，逐步去除冗余压缩单元，同时充分考虑了剩余压缩空间（即未移除的压缩单元）的影响

而且作者的方法是一种训练后的压缩算法，同时探索了预训练网络的稀疏性和低秩度，比训练感知方法更容易应用