《SELF-ADAPTIVE NETWORK PRUNING》论文笔记

参考代码：无

1. 概述

导读：这篇文章提出了一种channel剪枝的算法，在网络中通过嵌入SPM（Saliency-and-Pruning Module ）模块得到卷积过程中重要的channel，之后通过一个阈值得到一个二值标志序列，之后通过将其中为0的位置“置0”从而达到网络剪枝的目的。CNN中重要的channel是通过计算特征图自身的特性（文章中为均值）之后连接一个fc得到的，之后给定一个期待的计算量开销目标，之后在训练的过程中将网络现有的开销与期望的开销计算损失，从而约束CNN网络中的channel数量。

文章的作者在一些基于分类的任务中发现了如下的亮点规律：

• 1）对于CNN网络中的每一层卷积其适用的剪裁比例是不一致的，因而使用固定比例的方式进行剪枝是次优的，应该以数据驱动；
• 2）在CNN分类网络中其实卷积中只有很少的一部分channel对某一类别有较强的反应（特征图的统计意义上），那么这就说明其中是存在较大的冗余的，是存在剪枝的空间的；

上述的两点观察可以从下图看出：

2. 方法设计

2.1 网络结构

文章提出的剪枝整体pipline见下图所示：

在上图中文章通过在每个卷积层上添加SPM模块提取出显著性（重要）的channel：
$$s^l(x^{l-1})=SaliencyPrediction(x^{l-1},W)$$
其中，$x^{l-1}$是上一层卷积输出的特征图。之后将这些显著性channel（经过阈值）得到需要剪除的部分：
$$b^l(x^{l-1})=Binarize(x^{l-1})$$
在得到上述的二值序列掩膜之后，便是与之前的重要性置信度组合起来，从而这一层的卷积输出描述为：
x l = s l ( x l − 1 ) ⋅ b l ( x l − 1 ) ⋅ B a t c h N o r m ( f l ∗ x l − 1 ) x^l=s^l(x^{l-1})\cdot b^l(x^{