论文阅读：NetworkTrimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures

文章链接

Motivation

作者在对现在主流的CNN网络进行分析后，发现CNN中的很多神经元的“表现力”很弱(low activations)，这些神经元可以被剪枝，同时网络的表现能力不会被破坏，作者提出了一个可迭代的优化方法来对这些弱神经元进行剪枝，提出了一个新的参数应用于剪枝方法： Average Percentage of Zeros (APoZ)。首先使用确定的数据集对已有的神经网络进行测试，找出弱神经元，进行剪枝，生成新的模型，这些新的模型可以获得跟原先网络相同甚至更好的表现能力。

Method

作者在VGG16上描述了论文所提出的方法，VGG16采用ReLU函数进行激活，作者定义了Average Percentage of Zeros (APoZ)来计算经过ReLU激活后，第i层的第c个神经元的APoZ值：

其中N是数据集总大小，M是输出特征图的维度。
作者使用ImageNet上的数据对VGG16进行测试，发现有631个神经元的APoZ值高于百分之90，作者同时计算了每一层的平均APoZ值如下图，可以看出的是，随着网络深度的增加，有越来越多的神经元变成了冗余的神经元，裁剪空间越来越大。

作者提出的剪枝方法分为三个主要步骤：

首先训练已有的网络，然后在给定数据集上计算APoZ，进行剪枝，如上图4、5，剪枝后得到了初始化的新权重，然后进行再次训练。
同时，作者发现，如果一下子对很多神经元进行剪枝，神经网络的表现能力会受到很大的破坏，所以作者提出了可以迭代的剪枝方法，即先对APoZ值最高的几个层进行剪枝，挑选APoZ值高于基于平均APoZ值的一个推到的神经元进行剪枝，然后再剪枝他们的邻层。

Experiment

作者在两个网络上试验了自己的方法，分别是LeNet和VGG15，LeNet网络的复杂度比较低，作者选择了MNIST数据集进行计算剪枝，而VGG16则选择IMAGENET。
作者然后做了一些对比实验，具体实验结果就不贴了，可以去文章里看。

Conclusion

作者采用了直接剪枝神经元的方法，这与裁剪连接相比的优点在于减少了运算量，在FC6上可以有降低2倍的FLOPs，作者在VGG16上裁剪了最后一个卷积层和全连接层，有模型大小2到3倍的压缩效果。