本文介绍了极化剪枝（Polarization Pruning）技术，该技术针对L1正则化器在剪枝过程中存在的问题，通过使部分权重趋近于零或非零值，改进数据分布，提高剪枝效果。实验表明，这种方法能有效控制Flops减少，且优于传统的L1正则化剪枝策略。
Paper地址：https://papers.nips.cc/paper/2020/file/703957b6dd9e3a7980e040bee50ded65-Paper.pdf
GitHub地址：https://github.com/polarizationpruning/PolarizationPruning
基本原理
基于L1 regularizer的剪枝技术，其Scaling factors（用于生成剪枝Masking）的数据分布不容易被区分。因而，由剪枝率决定的Threshold，容易筛除数值小但仍相对重要的Neurons，导致较差的剪枝效果。文章提出的极化剪枝（Pruning based on polarization regularizer），能够将部分Scaling factors趋近于零，另一部分趋近于a，从而获得易于区分的数据分布（Threshold可选择在零附近），以获得更好的剪枝效果。Polarization regularizer对应的正则项表示如下&#
最低0.47元/天 解锁文章
扫一扫
1938
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
