Channel Pruning for Accelerating Very Deep Neural Networks
已复现:https://github.com/onion-rain/MCTS:
python thinet_exp.py --arch vgg16_bn_cifar --gpu 5 --resume checkpoints/baseline/cifar10_vgg16_bn_cifar_best.pth.tar --prune-percent 0.3 --lp-norm 2 --method lasso
- 上图为两层卷积操作,通道剪枝是要将B减掉一些通道,即减掉第一层卷积的一些卷积核(虚线卷积),同第二层卷积W也要去掉相应通道(W中3个最小立方体块)
- 即寻找合适的β和w使得原C与B经过剪枝后得到的C'最相似,即使得下式最小
- β就是个向量,非0即1,1表示保留该通道,0表示删除该通道,β的L0范数就是β中非零元素个数要小于c(B的原通道数),也就是要减掉一些通道嘛
- F范数就是矩阵各元素绝对值平方的总和开方
- 将β的约束放到公式中,并且由于最小化L0范数是NP难题,遂用L1范数代替之:
- c是输入通道数,n是输出通道数
- W ==>n * c * kh * kw,就是卷积核
- X ==>N * c * kh * kw, 就是输入特征图。
- N原文为the number of samples,我的理解应该是每个特征图上卷积核卷积的次数,也就是新的特征图的height*wigth
- λ是惩罚系数,通过增大λ就可以最小化β
- bias term不在公式内
- wi的F范数等于1是用来约束w的唯一解,也就是要求所有卷积核的所有weight的F范数等于1
- 然后分两步反复迭代:
- 先固定W优化β:
- Z=XWT
- 再固定β优化W
- 优化过程中λ逐渐增大,每次增大λ我们就迭代上面两步使得β的L0范数稳定
- 直到满足β的约束β的L0范数小于c,停止增大λ
- 实际操作中我们发现1,2迭代太花费时间,于是我们先迭代步骤1使得β的L0范数小于c,再迭代步骤2一次,得到最终结果
- 对于多分支网络:
- 就是在分之后,residual分支前面加了个通道选择器
- 优化目标是最后residual分支和shortcut分支合并之后得到的特征图尽可能保持不变,即优化目标由Y2变成了Y1-Y'1+Y2