deep compression 深度压缩 ICLR2016
论文地址:https://arxiv.org/abs/1510.00149
deep compression 分为三步,针对fully connected layer压缩:
(1) network pruning
(2) weight sharing
(3) huffman coding
1,network 剪枝
剪枝过程看作是最小化loss的过程:
这里的L是损失函数,里面是权重W和二值mask的点积,这里的二值mask表示的是参数w重要与否,比如w1是重要的权重参数,所以h1=1,反之h1=0.
那么怎么知道这个w的重要性呢?!