深度神经网络剪枝算法基础理论

非结构化剪枝可获得更高的剪枝率与精度，但是其非结构化特征带来的随机连接使得往往需要专门的软、硬件设计来支持其推理加速，而在现有的边缘硬件上难以满足其应用条件。鉴于此，目前在剪枝领域的研究多集中在结构化剪枝上，如图1.11中所示，右侧三列均属于结构化剪枝的范畴，区别仅在于所选择的剪枝粒度不同。

 

在本文的研究中主要关注的是卷积核(Filter)剪枝，在一些工作中将与卷积核剪枝有同样效果的剪枝粒度称为通道(Channel)剪枝，两者的区别在于剪枝时所选用的评估指标不同，但剪枝之后最终呈现的效果依然是相同的。例如卷积核剪枝是直接评估卷积层中卷积核的重要性程度，随后剪去筛选出的不重要卷积核以及对应该卷积核的通道；而通道剪枝则是先根据某一评估指标筛选出不重要的通道，再剪去该不重要通道对应的卷积核，例如[103]、[105]以及[107]等工作均属于该类型。卷积核剪枝与Kernel剪枝也同样有联系，如前所述，卷积核剪枝首先会筛选出当前层中不同要的卷积核，随后剪枝，但需要注意到，该层的卷积核剪枝还会影响到下一层的卷积核中的Kernel，因为下一层卷积核的Kernel数是与上一层的输出通道数对应的，两者需要同时改变。

在结构化剪枝方案中，根据评估指标来源所划分的两类剪枝方法，即参数驱动的与数据驱动的方法，鉴于数据驱动的剪枝方案多依赖于训练数据，并根据不同的输入数据计算对应的梯度或损失值等来作为评估依据，相较于参数驱动的方法往往存在更多的计算；同时，参数驱动的方法大多从权值等模型自身数据特征的