[剪枝]Channel Pruning for Accelerating Very Deep Neural Networks

[ICCV2017] Channel Pruning for Accelerating Very Deep Neural Networks

• arxiv:https://arxiv.org/abs/1707.06168
• github:https://github.com/yihui-he/channel-pruning

序言

最近在系统学习DL的相关理论知识，猛然看到无监督学习中关于“稀疏编码”的内容回想yihui-he的这篇通道裁剪方法可能其灵感就来源于这里（注：可能就照搬）。

训练方法

先上paper中的公式：
arg ⁡ min ⁡ β , W 1 2 N ∥ Y − ∑ i = 1 c β i X i W i ⊤ ∥ F 2 + λ ∥ β ∥ 1  subject to  ∥ β ∥ 0 ≤ c ′ , ∀ i ∥ W i ∥ F = 1 \begin{array}{l}{\underset{\boldsymbol{\beta}, \mathrm{W}}{\arg \min } \frac{1}{2 N}\left\|\mathrm{Y}-\sum_{i=1}^{c} \beta_{i} \mathrm{X}_{\mathrm{i}} \mathrm{W}_{\mathrm{i}}^{\top}\right\|_{F}^{2}+\lambda\|\boldsymbol{\beta}\|_{1}} \\ {\text { subject to }\|\beta\|_{0} \leq c^{\prime}, \forall i\left\|\mathrm{W}_{\mathrm{i}}\right\|_{F}=1}\end{array} β,Wargmin​2N1​∥∥​Y−∑i=1c​βi​Xi​Wi⊤​∥∥​F2​+λ∥β∥1​ subject to ∥β∥