SELF-ADAPTIVE NETWORK PRUNING简记

SELF-ADAPTIVE NETWORK PRUNING

参考

• 原文

简记

• 作者的研究基于两个现象：

  • 不同层的最佳剪枝率不同——并非每一层都存在恒定的剪枝率

  • 每一类只依赖一小部分的通道——静态剪枝是次优的

  • 

• 根据这俩现象提出了：SANP（self-adaptive method for network pruning）

• 主要流程：

  • SPM = Saliency-and-Pruning Module，显著与剪枝模块，提供显著性分数
  • 由下图可知，直接使用SPM，计算显著性分数，然后根据显著性分数生成mask（二值化1），来剪枝
    • 作者在3.2节讲了显著性分数的计算方法（3.1主要讲的是Fig2的流程），然后发现其实就是SENet的那一套（平均池化+FC）
    • 在3.3节讲了二值化的方法，个人认为没啥重要的，换了其他的应该也差不多
    • 在3.4节讲了多任务训练，其实这个多任务就是下图中的Lcost（除了本身的分类Loss之外），作者添加了代表网络cost的Loss，希望二值化后的0越多越好

•