[deep compression] compressing deep neural networks 论文学习

deep compression 深度压缩 ICLR2016
论文地址：https://arxiv.org/abs/1510.00149

deep compression 分为三步，针对fully connected layer压缩：
(1) network pruning
(2) weight sharing
(3) huffman coding

---

1，network 剪枝

剪枝过程看作是最小化loss的过程：

这里的L是损失函数，里面是权重W和二值mask的点积，这里的二值mask表示的是参数w重要与否，比如w1是重要的权重参数，所以h1=1，反之h1=0.

那么怎么知道这个w的重要性呢？！