原文:《PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE》
目录
算法部分
通道重要性判断
通道重要性判断的主流方法
- 权重大小 Minimum weight w w w
- 激活值 Activation
- 互信息 Mutual information
- BN 层缩放系数
本文的通道重要性判断方法 - 一阶泰勒展开
动机:通过用一阶泰勒展开来计算通道对最后 inference 结果的影响,从而判断通道的重要性,大大降低了剪枝过程的计算量
与其他标准联合判断
多种权重重要性判断方法可以通过加权平均的方式进行联合
对每个通道的重要性进行归一化
为了保证跨层的通道可以公平比较(因为不同层的通道数不同),所以要进行归一化。
其中,分子是第 l l l 层,第 k k k 个通道的重要性;分母是整个第 l l l 卷积层的通道重要性的加和。