ThiNet算法详解

论文：ThiNet： A Filter Level Pruning Method for Deep Neural Network Compression
论文链接：https://arxiv.org/abs/1707.06342

prune（剪枝）是深度学习模型压缩和加速的重要方法。ThiNet是ICCV2017的文章，主要通过prune方式达到模型压缩和加速，prune以filter（卷积核）为单位，根据该层filter的输出来判断该filter是否对结果有贡献，如果没有贡献或贡献很小，则直接把这个filter去掉，因此文章的核心就在于filter的选择方式，依据则是如果可以用某一层的输入的一个子集代替原来的输入得到尽可能类似原来的输出的话，那么子集以外的输入就可以去掉，同时其对应的前面一层的filter也就可以去掉。以去掉冗余filter做prune的研究还有很多，关键在于选择方式，比如计算filter的绝对值和，认为如果一个filter的绝对值和比较小，说明该filter并不重要，这种算法暂且叫Weight sum；还有计算激活层输出的feature map的值的稀疏程度，如果feature map的值很稀疏，也就是大部分值是0，那么该feature map对应的filter也是冗余的，可以去掉，这种算法暂且叫APoZ（Average Percentage of Zeros）。这两种压缩算法在后面的实验中都会提到。

具体ThiNet的压缩和加速效果怎么样？VGG-16可以达到减少3.31倍FLOPs和16.63倍的压缩，top-5准确率只下降0.52%。ResNet50可以达到减少2.26倍FLOPs和2.06倍的压缩，top-5准确率只下降了1%。

框架的流程图如下Figure1，第一行是filter selection，选择的依据是：如果我们可以用第i+1层的输入channel的一个子集作为第i+1层的输入且近似得到第i+1层的输出，那么这个子集以外的channel就可以去掉了，因为第i+1层的一个输入channel对应第i层的一个filter（卷积核），因此去掉第i+1层的channel同时也就可以去掉第i层的filter。第二行是prune，将第一步的weak channel和对应的前面一层的filter去掉，得到更窄（